Te hoge borgsom door verhuurder?

Wij hebben een financieel conflict met de huisbaas. Op 30 december hadden wij gepland om de sleutel over te dragen aan de huisbaas. Echter kon ik op die datum niet dus had ik aangegeven om de sleutel 's nachts wel even door de brievenbus te doen, of de 31e door de brievenbus (of persoonlijk overhandigen). Hij gaf aan bij mij dat hij om 9 uur s'ochtends kon maar dit kwam voor mij niet uit. Toen heb ik dus aangegeven dat ik hem wel door de brievenbus wil doen zodat het afgehandeld is. De huisbaas gaf aan dat hij het perse persoonlijk wilde doen, dus dan maar 7 januari. hier ging ik mee akkoord en nadat ik de sleutel de 7e aan hem overhandigd had, vertelde hij dat dit wel van de borg afgehaald ging worden, maar dat dit maar weinig was zei hij lachend. Vervolgens blijkt dit 571 euro te zijn, € 45 per dag 'huur' en 50 euro boete per dag. Aangezien hij een week niet kon en ik de sleutel gewoon op tijd in wilde leveren lijkt mij dit een rare gang van zaken. Daarnaast was de afstandsbediening kwijt, waar de huisbaas 150 euro voor gerekend heeft. De reden die hij hierbij geeft is 'achterhalen type tv, afstandsbediening halen en installeren'. Dit is volgens ons een bizar bedrag en vragen wij dus ook jullie hulp aan. Hebben wij gelijk? Hoe denken jullie erover?