Mogen wij vergunningsvrij uitbouwen en verbouwen?

Huis gekocht dat niet geregistreerd was. Nu is dat omgezet naar een kleine woning. Nu zegt de gemeente dat wij erf hebben met de buren omdat zij de hoofdwoning hebben en daarom dus ook niet vergunningsvrij mogen bouwen. Het bijzondere is, wij zijn kadastraal gesplitst dus hebben zelf een groot bouwvlak. Wel moesten wij alle gebouwen slopen 300m2 ivm verlening woonbestemming nu willen we dat doen alleen mogen wij dus geen schuur meer omdat de buren die al hebben. Echter we hebben paarden dus kunnen niet zonder schuur. Normaal is toch kadastraal gesplitst ons perceel dus mogen we toch ook vergunningsvrij uitbouwen en verbouwen?

mvg