Wanneer je een factuur stuurt met rente die je rekening brengt voor een late betaling, moet je dan wel of geen BTW rekenen over die rente?

nee, volgens mij niet. De BTW gaat over de omzet, niet over de boete.

Ik zou het zo doen:

Goederen 100
Btw 19 % 19
--------------------
Te betalen 119

Kredietbeperking 2% = Eur 2.-

Jij geeft de 19 als ontvangen BTW op, en jouw klant geeft de 10 op als betaalde BTW. Iedereen blij. Het is duidelijk, als er een geschil ontstaat: het factuurbedrag ter incasso bedraagt EUR 119.-; geen discussie.
Particulieren betalen iets teveel BTW, een paar centen overigens, maar die zul je ook zelden op krediet leveren.