Probleem met aannemer na betaling € 23.091,58

Sinds begin juli is er een verbouwing gaande in mijn huis. Van twee kleinere kamers wordt één grotere gemaakt, er moet een ruimte aangepast worden om badkamer van de maken, een voorraadkast wordt door het doorbreken van een muurtje en verlaagd plafond groter gemaakt.
Het contact verliep aanvankelijk goed, maar werd al snel moeizamer. Toezeggingen om te bellen en langs te komen werden niet nagekomen. Omdat de klusjesman problemen had met een andere klant, heeft hij mij verzocht het hele offertebedrag te voldoen, bovenop de 45% die ik al gedaan had. In totaal heb ik hem nu € 23.091,58 betaald.
Maar alles staat nu stil, met alleen maar het breekwerk grotendeels gedaan. De slaapkamer van mijn zoon is niet af, hij slaapt nu op een matras op de grond. Een deel van de muren is nog kaal, er moet nog gestuct (of liever geraapt) en behangen worden, elektra moet aangesloten worden, er is nog geen radiator en vensterbank
De badkamer is niet geïnstalleerd, ik heb met een gezin van drie man geen douche ter beschikking.
Ook de wasmachine is losgekoppeld, ik kan niet wassen. Alle spullen uit de slaapkamer van mijn zoon, badkamer en voorraadkast staan verspreid door het huis. Ik kan niet goed schoonmaken omdat de breekwerkzaamheden en het stuccen nog niet afgerond zijn.
Ik kan mijn rechtsbijstand niet inschakelen, omdat eigen woning helaas niet meeverzekerd was.
Kan ik iets doen? Mijn geld terugkrijgen zodat ik iemand anders kan inschakelen?