Onrechtmatige bouw op bosgrond?

Er staat een recreatiewoning te koop waar ik interesse in heb. De makelaar geeft echter aan dat het gebouw er al 50 jaar staat maar dat het perceel de bestemming bosgrond heeft gekregen. De gemeente geeft mondeling aan dat ze niet van plan zijn te handhaven. Ze wensen echter niet het bestemmingsplan aan te passen.
Deze uitspraak geeft de eigenaar van het perceel mijns inziens echter geen enkele garantie. De gemeente kan op ieder willekeurig moment besluiten om wel te handhaven en de eigenaar te dwingen het gebouwtje te verwijderen.
Klopt deze zienswijze en wat is de kans dat een dergelijke vordering van de gemeente juridisch succesvol aangevochten kan worden?