Muur op erfgrens privémuur van buren?

Wij hebben in januari dit jaar een rijtjeshuis gekocht en willen hier - zoals de rest van de straat ook al heeft gedaan - een op- en uitbouw aan maken. Hiervoor hebben wij een vergunning gekregen en de voorbereidende werkzaamheden zijn ook al begonnen. Onze buren op links hebben zelf enige jaren geleden uitgebouwd en hierbij de muur van hun uitbouw op of zelfs over de erfgrens heen gebouwd zodat er geen knik in hun uitbouw zou ontstaan. Volgens onze aannemer, die destijds ook hun uitbouw heeft gedaan, was hiervoor een akkoord gegeven door de vorige eigenaars onder voorwaarde dat deze muur ook voor een toekomstige uitbouw op ons adres zou kunnen worden gebruikt. Hier zijn toen in de bouw ook voorbereidingen voor getroffen, waardoor de muur nu in principe alleen gestuukt hoeft te worden. De afspraken destijds zijn echter niet bij de notaris vastgelegd. Nu claimen de buren het eigendom van de muur als privémuur op basis van horizontale natrekking en hebben zij te kennen gegeven dat wij van hen niks met deze muur mogen doen. Ze eisen dat wij onze eigen muur optrekken t.b.v. onze uitbouw, echter: omdat de bestaande muur direct overloopt in onze binnenmuur (en dus eigenlijk ook aan onze woning vastzit) zou het optrekken van een eigen muur betekenen dat wij een forse knik in onze woning krijgen. Daarnaast heeft de aannemer aangegeven dat het optrekken van een nieuwe muur tegen de bestaande muur problemen zal opleveren in de isolatie (koude en vocht) doordat de bestaande muur destijds al als gedeelde muur is geconstrueerd. De buren hebben tot nu toe geweigerd hierover in gesprek te gaan (zij verzoeken ons om eerst, voorafgaand aan een eventueel gesprek, juridisch advies in te winnen) en dreigen met het aanvragen van een bouwstop.

Graag zou ik willen weten wat in deze situatie onze rechten zijn als grondeigenaar en of het voor ons zin heeft om hierop door te gaan.