Stuk grond terugvorderen van buren?

Onze buren hebben het huis te koop staan (gekocht in 2018) en nu blijkt dat zij een stuk grond van ons gebruiken. Mag ik dit stuk terugvorderen (wij hebben het huis in 2016 gekocht).