La bonne réponse est du, article partitif qui précède le nom d’une matière non dénombrable (café) : « Je bois du café« . L’adjonction ou l’insertion d’un adverbe de fréquence n’y change rien : Je bois du café rarement, Je bois rarement du café. Je bois souvent du café.
La question est alors : Pourquoi entend-on  si souvent de après l’adverbe rarement ? Sans doute à mon avis parce que rarement est alors assimilé (à tort) à un adverbe d’intensité opposable à beaucoup, énormément,… : Je bois énormément de café / *Je bois rarement de café.