Hekwerk plaatsen op dakterras?

We hebben een vergunning voor de tekening met dakterras en hekwerk rondom.
Nu schrijven de buren dat het 2 meter uit de erfgrens moet worden geplaatst vanwege privacy.
De privacy kunnen we echter beter op een andere manier waarborgen, maar daar willen ze niet over praten.
Ze willen juridische stappen zetten.
Lopen we risico of mogen wij het hek gewoon bouwen conform de vergunde tekeningen?