Reiskosten verrekenen met verlofdagen?

Doordat er op mijn loonstrook een teveel aantal gewerkte dagen was ingevuld, heb ik teveel reiskosten ontvangen. Mijn werkgever heeft nu het exacte aantal dagen van woonwerkverkeer geteld en nu blijkt dat ik afgelopen jaar 80 dagen teveel reiskosten heb ontvangen.
Hij wil dit nu terugvorderen en stelt voor dit te doen door middel van het inleveren van verlofdagen.