Kan de familie ons zomaar uit het huis zetten?

Ik heb samen met mijn dochter een woonplek in een helft van een dubbel. Deze woning is casco gebouwd en nog niet klaar.
Samen hebben wij de afspraak gemaakt dat we er kunnen blijven wonen zonder huur te betalen. In ruil doen doen we onderhoud etc. aan het huis. Een jaar geleden heb ik de eigenaar Eur. 100.000,- geleend. Helaas is de eigenaar nu overleden en wil de familie ons het huis uit hebben. De Eur. 100.000,- krijgen we niet terug voordat het huis is verkocht. Kan de familie ons zomaar uit het huis zetten.
We willen het huis wel verlaten, maar ik wil dan wel eerst mijn Eur. 100.000,- terug. Ik ben bang dat ik deze ton daarna niet terug zal krijgen.