Wijziging aantal ploegen geoorloofd?

Ik werk al 11 jaar voor dezelfde werkgever waarvan 6 jaar in vaste dienst. Nu wil mijn baas het ploegenrooster veranderen van 5 ploegen naar 3 ploegen.
Dit betekent dat mijn ploegentoeslag van ~42% terug gaat naar 18. In mijn contract staat dat ze mogen wisselen van ploegen, maar ik vind het een beetje gek dat ik er zo erg op achteruit ga qua salaris. Mag dit zomaar? Verder hebben we een CAO en ben ik niet lid van de vakbond.