Ik ben op zoek naar een ander woord voor ''gezagsverhouding binnen een familie''?

Rollenpatroon

is 'rangorde' wat je zoekt?

Ik denk dat je inderdaad rollenpatroon bedoeld maar eigenlijk zijn het wel twee verschillende betekenissen:
Gezagsverhouding: wie is de baas
Rollenpatroon: wie de komische, wie is de zorger etc. etc.

Pikorde.

Betekenis volgens de Dikke van Dale: "De vaste op macht en aanzien gebaseerde volgorde, waarin mensen elkaar toestaan iets te doen".

hiërarchie?

Rangorde vind ik het beste synoniem

Rolverdeling zou ook kunnen, verder is alles wat ik kan bedenken al genoemd.

Als het gaat om de gezagsverhouding is het begrip "hiërarchie" volgens mij het meest dekkend.
Anderzins kun je het ook duiden met "het meest vitale subsysteem", omdat de hiërarchie onderhevig is aan sociaal wenselijke 'buitenkant' zodat daarbinnen vaak niet de doorslag in een kwestie bepaald wordt, maar indirect vertegenwoordigd wordt. Bijvoorbeeld is onze cultuur van oudsher in naam patriarchaal omdat vader van moeder mocht zeggen dat hij dan toch wel de baas was.