Bonjour,
Si vous cherchez à qualifier une facette particulière de votre personnalité, alors l’adjectif s’accorde avec le nom auquel il se rapporte quel que soit le sexe de la personne concernée : c’est la face ténébreuse de cet homme, c’est le côté amoureux de cette femme.
Si vous cherchez à associer un type de personnalité à telle personne, alors c’est un nom que vous employez et celui-ci prend le genre de la personne concernée (à condition  que ce nom possède un masculin et un féminin) ; l’ajout d’un adjectif rend cette option incontournable : c’est le côté amoureuse transie de Maryline, mais  c’est le côté  personnage hautain de la comtesse.
Dans votre exemple, les deux options sont possibles : c’est mon côté amoureux, c’est mon côté amoureuse.