Bonjour Nikki35000.
L’emploi des deux auxiliaires est possible avec cependant une nuance de sens.
Je croyais nous en avoir débarrassés : on insiste sur l’action de se débarrasser  et que cette action a été menée par « nous ».
Je croyais nous en être débarrassés : on insiste sur le résultat (nous sommes maintenant débarrassés).

C’est cette nuance qui m’avait fait douter. Merci beaucoup pour vos explications.

Bonjour Nikki35000,

Je ne suis que partiellement d’accord avec la réponse donnée par PhL :
OK pour la nuance actif / résultatif (ou passif), mais en revanche,

*Je croyais nous en être débarrassés n’est pas correct.

On a soit la forme active + avoir –> débarrasser qq de qq chose / qq, donc avec un COD :
Je croyais nous en avoir débarrassés.

Soit la forme pronominale + être –> se débarrasser de qq chose / qq
Je croyais m’en être débarrassé.
Nous croyions nous en être débarrassés.

Soit la forme résultative / passive +  être –> être débarrassé de qq chose / qq = il n’y a alors pas de COD :
Je croyais en être / en avoir été débarrassé.
Nous croyions en être / en avoir été débarrassés.

(Par ailleurs, il y a une petite coquille : ce n’est pas « nous », mais « je » qui a mené l’action.)

Quant à l’accord du participe, il est correct, puisque nous est COD et est placé avant l’auxiliaire – si nous = uniquement des femmes –> débarrassées.