AOW gehuwden als vrouw geen verblijfsvergunning heeft en we gescheiden wonen?

Getrouwd februari 2015 buiten de EU. Mijn vrouw kreeg een verblijfsvergunning bij het bereiken van de AOW leeftijd in 2020 en woont nu ruim 3 jaar in Nederland. Mijn vrouw heeft geen inkomsten. Volgens de SVB had ik geen recht op alleenstaande AOW ondanks het feit we verplicht gescheiden hebben moeten wonen omdat mijn vrouw nog geen verblijfsvergunning had. Volgens de SVB had ik die 5 jaar gehuwde AOW moeten ontvangen. Het gaat om een bedrag van 29.000 euro die ik moet terug betalen inclusief de boete.