Ik gaf iemand mijn gegevens en toestemming via de telefoon, kan er geld worden afgeschreven?

Mondelinge toestemming is gewoon toestemming. Punt.
Ze nemen het gesprek op, zodat je later niet kunt ontkennen.
Dat ze veel meer geld van je rekening halen is onwaarschijnlijk, want ook het bedrag zal wel genoemd zijn. En dus op de band staan.
Mocht dat toch anders zijn, dan kun je altijd nog incasso's storneren.
Dat betekent dat je de bank opdracht geeft om het afgeschreven bedrag terug te boeken.

Nee hoor dat kan niet want je hebt niemand gemachtigd

Als je het nummer Googlet, krijg je bv.
https://dietelefoon.nl/208900531
(Er zijn diverse meldingen van oplichting)
Ik zou het goed in de gaten houden, en als er een bedrag afgeboekt wordt, zeker laten terugstorten.
Overigens weet ik niet of je telefonisch een automatische incasso kan doorgeven, voor zover ik weet moest dat altijd schriftelijk. Let dus op als je een brief krijgt met het verzoek om een handtekening voor een incasso, dat je dat alleen doet voir dingen waarvan je zeker weet dat ze kloppen
https://www.consuwijzer.nl/geld-betalen/betalen/gebeld-door-verkoper-bankrekening-geld-afgeschreven
Volgens deze site kan het in ieder geval niet telefonisch. Dus dat is alvast goed nieuws (als het nog steeds klopt)
Toevoeging / correctie: er worden geen concrete gevallen van oplichting genoemd (dit betrof een ander nummer op dezelfde pagina). Wat er wel stond is dit (in gebrekkig Nederlands:)
"Zorg mogelijk verdachte nummer, dit nummer heeft ontvangen veel vragen voor onze gebruikers, het is waarschijnlijk een frauduleuze telefoonnummer of deze spam telefoon maken".

Dus kan ook om spam gaan i.p.v fraude.