C’est une activité que j’ai beaucoup aimé exercer.
Oui, on n’accorde pas avec « activité » car l’énonciateur ne dit pas qu’il a beaucoup aimé l’activité mais qu’il a beaucoup aimé l’exercer.  Le COD est donc un infinitif, neutre (et d’ailleurs placé après le verbe).