Rechten achtergebleven coniferen op erfafscheiding?

Toen ik in mijn huidige huis kwam wonen was de situatie dat er tussen mij en de buren een gemetselde schutting aanwezig was met daarvoor over de helft van de lengte nog coniferen. Toen ik aan mijn buren aangaf dat ik deze ging verwijderen hebben mijn buren aangegeven dat ik dat niet mag doen omdat deze op de erf afscheiding staan en ook van hem waren. Ik was hiervan niet op de hoogte en dacht dat de muur op de erf afscheiding stond. Echter wat bleek, de oude buren wilde de coniferen er niet uit hebben en toen heeft de buurman een muur over de gehele lengte op zijn grond gemetseld ongeveer 10 tot 30 cm vanaf de erf grens. Echter is de situatie dat mijn buurman door ook verdere begroeiing helemaal niets meer met de coniferen kan. Hij ziet ze niet meer en kan ze ook niet onderhouden (zijn kant dan). Ik heb nu voorgesteld de bomen te verwijderen en op de erf scheiding een nette schutting te plaatsen. Echter gaat hij hiermee niet akkoord en blijft hij het zeer met de oude buurman ons aanrekenen. De situatie is ook nog dat de bomen maar de helft van de lengte beslaan en verder is er geen erf afscheiding (buiten de muur op zijn grond. De coniferen kunnen alleen onze kant opgroeien en ik zou graag over de gehele lengte een erfscheiding willen hebben. Immers mag ik zijn muur niet aanraken. Ik hoop dat u weet wat ik kan doen om ons woongenot in de tuin te herstellen.