Ils lui ont jeté un sort
– C’est le pronom « lui » qui convient parce qu’il remplace un nom complément d’objet indirect (ils ont jeté un sort à quelqu’un)
– L’auxiliaire est avoir – il faut chercher le COD : s’il y en a un et qu’il est placé avant, le participe passé s’accordera avec lui  : c’est « sort » qui est COD  –  il est placé après : pas d’accord

Ils l’ont mangé : cette fois-ci, le COD est l’ – l’accord du participe passé se fait (ici l’ est masculin (par exemple, l’ remplace « le » comme dans ils ont mangé le gâteau)
Ils l’ont mangée : si l’ est féminin ( (par exemple si l’ la remplace pomme dans ils ont mangé la pomme) on voit l’accord.

On jette un sort à quelqu’un –> on lui jette un sort –> ils lui ont jeté un sort.

Le PP employé avec le verbe avoir s’accorde en genre et en nombre avec le COD s’il est placé avant.
Ils ont jeté quoi ? Un sort, COD, placé après « ont », donc on n’accorde pas.

Dans votre deuxième phrase, manger se construit différemment :
on mange quelque chose –> on le mange.
Cette fois le COD est placé avant l’auxiliaire, donc on accorde en genre et en nombre.

Donc, si vous suivez le même raisonnement, vous comprendrez les raisons des accords suivants :
Ils ont mangé un gâteau –> ils l’ont mangé
Ils ont mangé une salade –> Ils l’ont mangée
Ils ont mangé des gâteaux –> ils les ont mangés
Ils ont mangé des salades –> ils les ont mangées
Ils ont mangé des salades et des gâteaux –> ils les ont mangés