Difficile en effet de distinguer les différents types de pronominaux. Il faut néanmoins toujours s’appuyer sur le sens.

se refuser à  + infinitif signifie  ne pas vouloir+ infinitif.
et
Refuser qqc signifie ne pas accepter qqc
Dans « se refuser à + infinitif », le pronom « se » ne peut être analysé comme étant un COD du verbe refuser. Ce n’est pas soi-même que le sujet refuse, n’accepte pas.
Le sens du pronominal se refuser à + infinitif est donc autonome , c’est à dire que le sens est indépendant du sens du verbe de forme  simple refuser

Ce qui complique les choses, c’est que le pronominal se refuser n’est, pas toujours autonome, il est  parfois occasionnel et en ce cas l’accord se fait avec « se » qui est COD  – la construction est cependant différente :
– se refuser à quelqu’un :
Je ne me serais jamais refusée à vous (Maupassant)
– se refuser (tout court) :
[C’est] sur quoi repose leur vie. ils se sont  refusés eux-mêmes.