Mag werkgever min uren van vakantiedagen afhalen?

Ik werk als arts in het ziekenhuis onder een 38 uurs contract conform CAO perifere ziekenhuizen. Ik heb mijn contract opgezegd waarna ik vroeg hoeveel openstaande vakantie uren ik nog heb. Toen kreeg ik het saldo terug waarop ik zag dat mijn saldo aan gewerkte uren negatief was. Dit komt omdat ik zonder daarom te vragen een week op "compensatie" gezet ben (aangezien we tijdelijk te veel artsen hebben). Dit betekent dat ik in die week -38 uur van mijn balans afhaal. Nu wil ik mijn vakantiedagen richting het einde van mijn dienstperiode opnemen, echter zegt mijn baas dat de negatieve balans van gewerkte uren van de vakantie uren afgetrokken worden. Mogen ze dit zomaar doen? Ik heb aantoonbare beschikbaarheid in de compensatieweek en hier ook niet om gevraagd.