Bonjour

Selon Larousse

=====
sans préparation : Arriver impromptu chez un ami.
=====

Je pense alors que quand on prévoit un rendez-vous à la piscine pour 3h du matin, ce n’est pas impromptu, parce que l’on se prépare (on le prévoit).

Impromptu, ça serait quand on passe la piscine à 3h du matin et on décide alors de nager au hasard.

Edwin

Impromptu ne convient pas du tout  ici « pour dire ça ne se fait pas ».
Je dirais aussi incongru  ( = « qui n’est pas de circonstance, qui ne convient pas »), ce qui n’empêche pas que fixer l’heure pour aller à la piscine  à trois heures du matin peut aussi être impromptu !