Verplicht verwijderen afdakje na goedkeuring?

Ik heb jaren geleden een afdakje gemaakt (mondeling overlegd met de buurman) en met band voor het doorlekken aan de stenen zijmuur van de buren gemaakt. Is maar 2 meter, geeft geen hinder en is niet zichtbaar. Nu na bijna 7 jaar wil de buurman dat ik dit verwijder. Want hij is bang dat er lijm op de muur achterblijft. Kan hij dat eisen?