Herstel muur door buren

Mijn nieuwe buren hebben een schuur afgebroken. Nu blijkt de muur van hun schuur mijn buitenmuur van mijn aanbouw te zijn. De buurman zegt dat het mijn muur is, omdat hij op mijn erf staat. Maar de buren hebben die toch afgebroken? Wie moet deze muur nu herstellen?