Il existe de nombreux mots qui ne disposent historiquement que d’un seul genre grammatical même s’il peuvent qualifier des des personnes des deux sexes. Il en va d’ailleurs de même avec de nombreux animaux pourtant eux-mêmes sexués.
À défaut d’une « règle », on peut remarquer un usage bien implanté dans notre langue : l’accord des éléments immédiatement rattachés (adjectifs, participes) se fait avec le genre grammatical et non avec le sexe biologique. Voir par exemple le cas pour sentinelle dont le participe attribut est systématiquement au féminin pour des individus exclusivement mâles.
On constate en revanche plus de souplesse (accord dit par syllepse) pour des éléments éloignés qui ne font que reprendre la réalité d’un état et non le mot lui-même (qu’on peut avoir déjà oublié). Ainsi  dire que les « boudins » sont rentrés « chez elles » n’est pas illégitime si chacun a bien compris que c’est de filles que l’on parle.
Un rédacteur averti prendra néanmoins le soin de rapidement intercaler un autre mot sans équivoque permettant de « retomber sur ses pieds » avant que la situation ne dure trop : « La sentinelle s’était endormie. Puis elle (l’homme) se réveilla et rentra chez elle (lui). »

Merci Chambaron pour cette réponse, qui s’inscrit dans une série d’un caractère toujours pertinent et complet !

1) Dans chefs pâtissières, pâtissières n’est pas adjectif, mais substantif, rien de surprenant donc que le terme soit au féminin s’il s’agit de désigner des femmes. Quant à chef, il est épicène, même si la forme cheffe existe, ce qui donne donc au féminin singulier : la chef pâtissière, soit une série d’accords tout à fait réguliers.

2) Pour en rester à votre phrase, je déconseillerais le chez elles, même si je suis tout à fait persuadé que c’est un accord que l’on pourrait lire ou entendre. Néanmoins, je trouve que Les victimes rentraient chez eux, frotte un peu les oreilles.