Rechten vader zonder gezag

Mijn partner en ik hebben besloten om een punt achter onze relatie te zetten en hebben een baby van 5 maanden. Nu is het zo dat hij zijn kind erkend heeft maar geen gezag erover heeft. Nu willen we samen afspraken maken over hoe het voor ons zo goed mogelijk eruit kan zien zonder dat we naar een rechter hoeven, maar als we er niet samen uitkomen dan moet het maar we willen het liever voorkomen. Nu wilt vader hem 1 keer per week meenemen naar familie 300km verderop zonder mij de moeder. Ik wil hem en zijn familie (die tegen al mijn regels qua opvoeding ingaan en zich hier telkens mee bemoeien) absoluut niets ontnemen maar ik voel mij hier niet prettig bij. Hij heeft namelijk in 5 maanden tijd 2x een fles gegeven en 3x een luier verschoond. Nooit is hij nachts opgestaan en ook slaapt hij in een andere slaapkamer omdat hij wilt slapen en rust wilt. Ben ik verplicht om mijn kind mee te geven? Hij betaalt geen alimentatie en heeft ook geen gezag.