Verplichte dag vrij bij afzeggen personeelsuitje?

Op mijn werk hadden we een persooneelsuitje van een hele dag. Vooraf had ik programma ingezien, ik heb soms last van paniek aanvallen en ik durfde het programma niet aan. Mijn werkgever zei dat als ik niet mee ging ik niet thuis kon werken en verplicht een vakantiedag moest inleveren. Ik ben benieuwd of dit zomaar kan omdat ik geen werk geweigerd hebt. i.v.m. medische redenen kon ik niet deelnemen.