Sémantiquement, c’est vrai, on ne fait pas l’ « action » de grandir, on ne la subit pas non plus, on est le siège où se déroule le processus de grandissement.

Mais ce n’est pas ce qui justifie le non accord, puisque si on avait par exemple Je l’ai vue s’évanouir, la personne qui s’évanouit ne fait pas non plus l’action de s’évanouir et pourtant on fait l’accord.

Pourquoi dès lors ne pas le faire avec grandir ? Parce que contrairement à s’évanouir, grandir est un phénomène progressif qui se déroule sur un temps long, et autant on peut voir quelqu’un s’évanouir en raison de la ponctualité de l’évènement (La dame je l’ai vue, elle s’évanouissait / je l’ai vue, elle était en train de s’évanouir / Regarde ! La dame est en train de s’évanouir), autant on ne peut pas voir quelqu’un grandir ((Ma fille, je l’ai vue, elle grandissait / elle était en train de grandir / Regarde ! Ma fille est en train de grandir). Ici, donc on ne voit pas quelqu’un + quelque chose fait par ce quelqu’un ou qui se réalise en ce quelqu’un, mais on voit quelque chose (ici grandir) se réaliser en quelqu’un. Et alors, le COD de voir n’est pas le pronom, mais le procès exprimé à l’infinitif, d’où le non accord.