Wie verantwoordelijk afbreken muur erfgrens?

Al 5 jaar woonachtig in mijn koopwoning. Aan de zijkant van mijn carport stond op de grond van de buren een grote stenen schuur op de erfafscheiding. Prima, fungeert gelijk als "schutting". Inmiddels is dat perceel verkocht en hebben ze er 2 huizen gebouwd. Schuur gedeeltelijk afgebroken, muur tussen mij en de buren tijdelijk laten staan met mijn toestemming zodat ik geen last had van de bouw en ook omdat het bouwbedrijf dan geen hek hoefde te plaatsen. De muur zou na de bouw afgebroken worden, heb ik specifiek naar gevraagd. Ook de nieuwe bewoners hebben deze afspraak met hen gemaakt. Nu is het huis opgeleverd en wil het bouwbedrijf de muur niet afbreken omdat hij op de erfgrens staat. Zowel ik als de buren hebben over deze afspraak niets op papier. Mijn vraag is nu: mag het bouwbedrijf zomaar een muur van een voormalige schuur laten staan omdat hij op de erfgrens staat?