C’est une activité que j’ai beaucoup aimé exercer.
Oui, on n’accorde pas avec « activité » car l’énonciateur ne dit pas qu’il a beaucoup aimé l’activité mais qu’il a beaucoup aimé l’exercer.  Le COD est donc un infinitif, neutre (et d’ailleurs placé après le verbe).

Merci beaucoup ! Enfin une réponse claire qui m’évitera à l’avenir de n’avoir pas trop à y réfléchir. Merci.

Et ce n’est pas l’activité qui exerce !

Dans « j’ai aimé exercer cette activité » , le COD de « aimé » est la proposition infinitive « exercer cette activité » .
Quand on transforme « cette activité » en pronom, le COD du verbe « aimer » se trouve à moitié devant et à moitié derrière le participe passé.
— une activité que j’ai aimé exercer

Il serait logique de ne jamais accorder selon un COD qui est une proposition et qui n’a donc ni genre ni nombre.
Par convention, cependant, on accorde le participe passé avec le sujet de cette proposition infinitive quand c’est lui qui est placé sous forme de pronom devant le participe passé :
— une professionnelle que j’ai vue exercer
— une profession que j’ai vu exercer
— une profession que j’ai choisi d’exercer
— une activité que j’ai aidée à se développer
— une activité que j’ai participé à développer
— une activité que j’ai aimé exercer