Le mot élite a un sens précis, comme vous l’employez, c’est très clair. Il s’agit des catégories sociales supérieures. 
Le terme élite peut être connoté selon l’idée de celui qui l’emploie : on peut critiquer « les élites au pouvoir, dé*** ctées des réalités de la population » ou admirer l' »élite de la société qui accomplit les innovations » (c’est plus rare).