Malgré la caution de Zola, je serais assez modéré concernant l’emploi de exulter avec un complément indiquant la joie ou un sentiment similaire (allégresse, bonheur) sans autre précision. Malgré l’ancienneté du mot, on l’a employé pendant des siècles, en latin ou en français, sans complément. C’est encore le cas dans la langue ecclésiastique qui l’a popularisé. Le Exsultate, jubilate (Réjouissez-vous!) est un passage typique des messes (écouter Mozart par exemple).
Les études de fréquence montrent que l’expression avec un complément n’est apparue qu’au milieu du XIXe siècle et n’a jamais prospéré.
Donc, in fine, je dirais que si elle n’est pas incorrecte, la tournure avec complément est très maladroite en littérature contemporaine.
NB Le complément réapparait en revanche normalement lorsqu’il est le support d’un qualificatif : Il exultait d’une joie simple dont je l’aurais cru incapable.