Buren 24/7 recht van overpad?

Wij bezitten een woning met daarbij in onze achtertuin de berging van onze buren.
Uiteraard geldt bij deze een recht van overpad om naar hun berging te komen.
Door onze buren wordt gezegd dat 30 jaar geleden met de toenmalige eigenaar van onze woning, mondeling is afgesproken dat onze tuin ook een "gezamenlijke tuin" is waar zij ook ten alle tijden gebruik van mogen maken.
Dit houdt dus in dat zij van mening zijn 24/7 gebruik te mogen maken van onze tuin.
Ik hoor graag jullie advies. Wat is ons recht in deze?