Vous ne pouvez pas parler de COI ici pour désigner l’agent de l’infinitif. Dites si vous voulez « pronom de type COI », ou plus clairement « pronom au datif ».
Il n’y a pas de construction indirecte dans votre phrase. Si « on l’a vue porter un chapeau » est mis pour « on a vu Marie porter un chapeau », en revanche « on lui a vu porter un chapeau » n’est pas mis pour « on a vu à Marie porter un chapeau ».
Dans « le chapeau que je lui ai vu porter ce matin », le pronom datif « lui » est agent de l’infinitif, il n’est pas mis pour « à elle », et il n’est pas complément d’objet.
Il y a de nombreux cas où l’agent de l’infinitif est exprimé par un pronom datif et non par un pronom accusatif : « je le fais boire ; je lui fais boire de l’eau ».
Et la construction avec un datif s’utilise sans problème dans des sens concrets et datés : « ce midi, je lui ai entendu dire qu’il aimait le poivre », ou sous la plume d’Hugo : « puis, ce coup d’œil jeté, Gringoire lui avait vu faire cette petite moue qu’il avait déjà remarquée ».

Dans le cas de la construction avec le pronom datif « lui », vous percevez que ce pronom agent de l’infinitif n’est pas COD de « voir », il ne commande aucun accord.
Mais dans le cas de la construction avec le pronom accusatif « la », ce pronom, toujours agent de l’infinitif, devient-il par magie COD de « voir » ? Non, pas du tout, mais on fait semblant.

Au présent, pour mieux voir le pronom, pour mieux voir la construction active et concrète, et pour ne pas avoir de problème d’accord :
0) Dans « c’est la première fois que je vois Marie porter un chapeau », le COD de « voir » est la proposition infinitive « Marie porter un chapeau ».
1) Dans « c’est la première fois que je la vois porter un chapeau », le COD de « voir » est « la »+ « porter un chapeau ».
2) Dans « c’est la première fois que je lui vois porter un chapeau », le COD de « voir » est « lui »+ « porter un chapeau ».
Ou au passé composé :
0) Dans « ce matin j’ai vu Marie porter un chapeau », le COD de « voir » est la proposition infinitive « Marie porter un chapeau ».
1) Dans « ce matin je l’ai vue porter un chapeau », le COD de « voir » est « l' »+ « porter un chapeau ».
2) Dans « ce matin je lui ai vu porter un chapeau », le COD de « voir » est « lui »+ « porter un chapeau ».

Dans les cas 1 et 2, l’application de la règle de l’accord avec le COD antéposé est impossible, puisque ce COD est éclaté de part et d’autre du participe passé, et que de toute façon ce COD étant une proposition, il est neutre et n’entraîne aucun accord.

Et cependant,
1) Dans « je la vois porter un chapeau », certains enseignants disent que le COD de « voir » est « la » (mais sans nous donner la fonction dans cette phrase de « porter un chapeau », s’il ne fait plus partie du COD). La phrase se conçoit alors comme si elle voulait dire « je la vois, et elle porte un chapeau », et à un temps composé « je l’ai vue, et elle portait un chapeau ». Donc avec accord : « je l’ai vue porter un chapeau ».
2) Et dans « je lui vois porter un chapeau », ces mêmes enseignants disent que le COD de « voir » est « porter un chapeau » (tout en reconnaissant quand même que « lui » en est le complément d’agent. Donc sans accord : je lui ai vu porter un chapeau.
C’est absurde, c’est arbitraire, mais après tout, l’arbitraire n’est pas si grave. Ce qui est plus gênant c’est de tricher en appelant COD un pronom qui n’est que l’agent de la proposition infinitive COD. Puisque la règle de l’accord est arbitraire, il est inutile de la justifier dans ce cas précis. Il suffirait de dire que l’agent de l’infinitif à l’accusatif commande l’accord, et que l’agent de l’infinitif au datif ne le commande pas.