Votre raisonnement est partiellement juste : ce n’est pas l’usage de bien qui change les choses, c’est le fait d’employer un adjectif comme adverbe qui entraine son invariabilité. Cela se produit en particulier avec des verbes d’action (et non attributifs par nature).
Ce cas, certes trompeur, est assez fréquent lorsqu’un adjectif n’a pas donné naissance à un adverbe spécifique (type ferme donne fermement mais serré n’a pas d’adverbe associé).
Nombreux exemples classiques dans le billet ICI : couper court, placer haut, tomber dru, etc.