Kunnen incassokosten van een onterechte factuur op mij verekend worden?

Ik ben op 31 mei 2023 verhuisd. Ik heb internet en TV aangevraagd bij KPN per 12 juni op mijn nieuwe adres. 2 weken en 3 monteurs daarna had ik nog steeds geen internet en TV en heb ik gebruik gemaakt van de wettelijke opzegtermijn van 14 dagen. KPN heeft me nog wel een factuur gestuurd. Ik heb ze gebeld dat ik het daar niet mee eens ben (want KPN doet niet aan e-mail- of postadressen). De telefonisten zeggen allemaal hetzelfde; namelijk dat ik gewoon moet betalen omdat ze anders een incassobureau in gaan schakelen (ik heb ze inmiddels 3 keer gebeld met hetzelfde verhaal). En dat als ik betaald heb, ik later het geld terug krijg.
Ik heb ze nu 3 keer verteld dat ik niet van plan ben te betalen. Ze dreigen nog steeds met incassokosten (ook in mails van noreply@kpn.com). Ik wil eigenlijk gewoon heel graag dat KPN zijn boekhouding doet en mij uit hun systeem gooit zonder dat ik ze geld overmaak op goed vertrouwen dat ik het terug krijg. Het gaat uiteindelijk maar om € 35, maar ik kan het niet tegenover mezelf verantwoorden dat ik hen geld geef voor niks.
Afgezien van KPN "gewoon maar betalen"; wat kan ik doen om van dit bedrijf af te komen?