Ici, c’est le singulier qui convient, car il s’agit de la discipline (la science) appelée la statistique.
C’est comme si l’on disait : Rappels brefs de notions de base en géométrie, en économie, en physique.

La statistique met en œuvre la notion de probabilité. 

Statistiques au pluriel désigne des données numériques concernant une catégorie de faits…  : Statistiques économiques, démographiques, etc.  Bien sûr, quand il est question d’une seule donnée de cette nature, on dit une statistique.