Kinderen zonder toestemming ex op vakantie?

Kinderen 20 en 16 jaar oud willen samen op vakantie, naar het buitenland.
Mijn ex partner heeft weinig contact met de kinderen. In de afgelopen 5 jaar is er wel contact geweest, maar na een paar ruzies van vader met de kinderen werd dat weer minder of een tijd helemaal niet. Er zijn al gesprekken bij hulpverlenende instanties geweest. Maar echt contactherstel lukt niet.
Nu wil de vader vanwege het weinige contact geen toestemming geven voor de vakantie. Hoe zwaar weegt zijn toestemming?