Kan ik in niemandsland aangehouden worden door de douane?

Ja zeker belasting technisch ben je niet in het land maar daar geldt wel de gewone wetten van het land.
anders kan je er iemand ongestraft vermoorden

In principe moet je voor overstappen in Australië minimaal een ‘Transit Visa’ hebben, zelfs om alleen maar over te stappen op een luchthaven en Australië meteen weer te verlaten. En een van de expliciete voorwaarden om dat te kunnen krijgen is dat je geen schulden aan de Australische regering hebt (cq dat je ze vooraf alsnog betaalt).
“You must have no outstanding debts to the Australian Government or have arranged to repay any outstanding debts to the Australian Government before this visa can be granted.”
https://www.border.gov.au/Trav/Visa-1/771-#sub-heading-0

Echter: voor ingezetenen van een lange reeks landen (waaronder Nederland en België) bestaat er een soepeler uitzondering: mits aan de overige gestelde voorwaarden is voldaan (o.a. dat je een boeking hebt om binnen 8 uren Australië weer te verlaten) hoeven deze reizigers géén Transit Visa aan te vragen.
https://www.border.gov.au/Lega/Lega/Form/Immi-FAQs/do-i-need-a-visa-to-transit-through-australia

Bij de voorwaarden van deze uitzondering zoals ik die op de betreffende website lees staat niets over openstaande schulden cq boetes. Er is tenslotte ook geen aanmelding vooraf bij nodig.
Máár: aangezien de nationaliteit dus één van de voorwaarden is, moet je rekening houden met de omstandigheid dat je ter plaatse uiteraard wel de onnodigheid van het Transit Visa met je paspoort zult moeten aantonen. Zo kan je naam alsnog ‘vliegens’vlug in het systeem met lijsten van schuldenaren vergeleken worden en kun je mogelijk dan alsnog tegen de lamp lopen.
Je zou de gok dus kunnen nemen, maar zorg dan wel dat je ter plekke de schulden kunt voldoen, anders mis je tot overmaat van ongemak ook nog je overstap.

Toegevoegd na 12 minuten:
Voor de goede orde: de douane ('Customs') is er voor de bagage van de reiziger; het gaat in feite om de mate van toegangscontrole of uitreiscontrole op de persoon van de reiziger door de grenspolitie (in Nederland: de Marechaussee) ('Immigration').
In de spreektaal heeft men het (op Schiphol) inderdaad vaak over het gebied "achter de douane".