Kan ik de map $Recycle.bin verwijderen op mijn externe harde schijf zonder dat deze terug komt?

Dat zal helaas niet lukken.
$Recycle.bin is een ingebouwde optie van Windows, die automatisch aangemaakt wordt nadat je deze verwijderd hebt.

Toegevoegd na 12 uur:
Ik heb nog geprobeerd een batchfile te maken die via Taakplanner elk uur de $Recycle.bin verwijdert. Maar da's niet gelukt.
Het is overigens veiliger in Verkenner "Beveiligde besturingssysteembestanden verbergen" aan te vinken, om te vermijden dat je per ongeluk zo'n bestand verwijdert.