Smeerput verborgen gebrek?

Op 1 mei 2019 hebben wij ons huis verkocht. Voor de verkoop hebben we een garage weg gehaald met een smeerput. In de smeerput hebben wij puin (bakstenen) gedaan en dicht gegooid met zand.
Wij hebben het bij de verkoop niet gemeld aan de koper. Hij heeft in september 2019 contact gezocht met makelaar, en wij en koper zijn er uit gekomen dit gezamenlijk op te lossen. Koper zou in het nieuwe jaar (2020) contact met ons zoeken. Dit is niet gebeurd.
Gister 22 augustus 2022 belt de koper. Hij wil gezamenlijk puin weg halen. Als wij niet helpen, wil hij het juridisch gaan doen.
Nu lees ik dat dit geen verborgen gebrek is gezien de koper niet word gehinderd in zijn wonen in huis. Ook zal het na 2 jaar verjaren.
Is dit juist? En wat zijn onze rechten en wat kunnen wij hiermee doen?