Bouwvergunning: ben ik verplicht te bouwen?

De gemeente zegt dat ik verplicht ben te bouwen omdat ik een bouwvergunning heb aangevraagd en gekregen. Is dit zo?