Mag mijn buurman de brandgang achter onze schuur bij zijn tuin betrekken en in onze schuur boren?

Wij zijn 4 jaar geleden in ons huis komen wonen onze schuur staat vrijwel in het midden achter in de tuin en toen we hier net woonde zagen we dat de achterburen de brandgang achter onze schuur bij hun tuin had getrokken en een afdak daar tegen onze schuur aan had vast gebouwd en dus in onze schuur, wat maar een enkele muur heeft. Plus rechts van de schuur hebben we een afdak met schutting eronder maar de schutting is verkeerd geplaats want die staat een halve meter meer onze tuin in en staat dus niet gelijk met onze schuur of het afdak en niet op de scheidingslijn ons dak zit wel gelijk met de schuur.
Nou willen we een nieuw schuurtje met afdak maken en zijn dus na 2 maanden hier wonen aan de deur gegaan dat we de schuur wouden gaan slopen in de toekomst (aangezien we er net woonden en ook andere dingen in het huis eerst moesten doen) en dus gevraagd of ze het afdak dus los willen maken van de schuur en er een stuk vanaf willen plaatsen dat wij gewoon bij de schuur aan de achterkant kunnen en aangegeven dat we dat schuttinkje weg gaan halen en een muur gelijk met de schuur gaan bouwen toen was het allemaal goed en moesten we het op tijd aangegeven dat hij de tijd had om het weg te halen nu zijn we gister dus aan de deur geweest dat we willen beginnen en of hij dus het weg wil halen en nou zegt ie dat ie dat niet wil doen dat het zijn tuin is en dat het vroeger een brandgang was ja maar nu van hem en dat wij gewoon nu pech hebben en het van hem is wat kunnen we ertegen doen? behalve een kadastrale kaart aanvragen wat flink geld kost het want mijn schuur moet toch vanuit de brandgang bereikbaar zijn en je mag toch niet in iemand anders zijn schuur bouwen?