Buurman verplicht te betalen voor stukje grond?

We hebben een huis gekocht, volgens kadastrale tekening is er achter onze muur nog een paar meter grond, diepte weten we niet zeker. Onze buurman heeft met onze voormalige eigenaar afgesproken om bij dat gedeelte iets te doen als steun om zijn dakopbouw te verstevigen en als onze voormalige eigenaar ook een dak wil opbouwen kan die dus ook gebruik maken van de steunmogelijkheden. Daarna hebben die buren wel het dak opgebouwd en het dak nog getrokken over de (lege?) plek, tot op onze uitbouw. Voormalige eigenaar heeft het huis aan ons verkocht zonder dak op te bouwen. Ze hebben hun afspraak op een brief gezet en getekend en die hebben we pas bij de notaris gelijk voor de koopakte in de wachtruimte gezien en konden toen niet goed begrijpen. We willen nu wel een dak opbouw maar de buurman beweert dat de afspraak met de oude eigenaar geldig is en hij wil de grens wat hij meeste gebruikt op de kadastrale tekening laten zetten en dat wij dat ondertekenen zonder geld daarover te betalen. Maar hij zegt dat wij gebruik kunnen maken van zijn gemaakte muur als steun of zo. We hoeven de muur die bij ons binnen bestaat eigenlijk niet kapot te maken en zo laten staan. Hoe heeft hij het allemaal gedaan, maar ik vind dat dat stukje grond wel betaald moet worden. Hebben we er recht op om dat te vragen of heeft het zin om daarvoor een rechtszaak te beginnen? We betalen al 4 jaar ook WOZ belastingen volgens de kadastrale tekeningen!