On ne croit pas la maison ( la maison n’est pas le cod) donc on n’accorde pas cru avec maison.
De même : 
Cette ville est plus belle que je ne l’avais imaginé. 
Le participe passé ayant pour COD le pronom neutre « l’ » est invariable, car ce pronom remplace une proposition. 
Une petite maison qu’on eût cru imaginée par un enfant.