Wat voor rechten heb ik met betrekking tot het afbreken van een gezamenlijke schuur op de erfgrens?

Hallo,
Wij wonen sinds 13 jaar in onze koopwoning en onze buren al meer dan 30 jaar in hun koopwoning. Nu is er een schuur die door tweeën gedeeld is en waar we allebei ons eigen deel van gebruiken. Deze schuur staat ook al meer dan 30 jaar. Origineel staat deze schuur geheel op onze grond, maar doordat deze gesplitst is, is de erfgrens opgeschoven in het voordeel van onze buren. Nu is de schuur in zeer slechte staat, tot op het gevaarlijke af. Wij willen deze schuur afbreken omdat we er geen gebruik van maken. De buren willen dit niet. Wij hebben geen noodzaak aan het herstellen van de erfgrens en vinden het prima als de buren hun deel van de schuur op dezelfde manier weer opbouwen. Toen we dit huis kochten, hebben we met de buren gesproken, Zij wilden toen niet mee werken. Nu zijn we de afgelopen 2 jaar ook in gesprek geweest en hebben zij 1,5 jaar geleden toegezegd mee te willen werken. We hebben hen geholpen met het vinden van iemand die de schuur opnieuw op kan bouwen. Tot op heden kan er geen afspraak gemaakt worden over de start van het afbreken van de schuur en hebben wij het idee dat we aan het lijntje gehouden worden. Wij willen heel graag weten wat onze rechtspositie is en of wij in ons recht staan om deze schuur af te breken. Dank u wel!