Il vous faudra choisir entre : je parle un peu anglais et je connais un peu d’anglais.

Un peu de.[En fonction de prédéterminant du substantif, évoque une quantité faible, mais déjà appréciable] TLFi

On ne parle pas une quantité plus ou moins grande de quelque chose. On peut connaître, apprendre, retenir une quantité de quelque chose : j’ai appris un peu d’anglais. J’ai retenu un peu d’anglais.

On peut aussi dire : je ne parle qu’un peu l’anglais ou je parle quelques mots d’anglais.