Belle illustration de Cathy dans sa réponse, mais difficile d’en retirer une règle…

Essayons de classer :

– soit le mot précède un adjectif, verbe ou autre adverbe : il est clairement invariable (valeur de entièrement), à l’exception délicate de l’accord devant un adjectif ou participe féminin commençant par une consonne ou un h aspiré. On écrit donc : elle était toute confuse  ou elles étaient toutes hérissée. Pourquoi ? Parce qu’on n’élide pas un mot devant ces lettres (cf. le hérisson et pas l’hérisson).

– soit il précède un nom qu’on peut interpréter comme singulier ou pluriel : pas de règle, et il faut retenir une liste d’usage (si l’on veut être vraiment irréprochable). Comme il y en a moins restant au singulier qu’au pluriel, mieux vaut retenir celle-là. Voici les principaux en fréquence : en tout cas, tout compte fait, de toute façon, à toute force, à toute heure, de toute manière, à tout prix, à tout propos, de tout temps  (non exhaustif).

Pas évident, je le reconnais, mais personne ne devrait vous étriper pour un accord malencontreux…