Bonjour,

Je ne pense pas qu’il y ait incorrection avec le « que de ».

Ce qui me semble au contraire inapproprié, c’est le mot « savoir« . Car ce qui est la cause de la perte supposée du temps, c’est bien le fait d’observer et non le fait de savoir.

« Ce n’était pas perdre son temps que d’observer ses contemporains. » signifie  « Ce n’était pas perdre son temps que de le perdre à observer ses contemporains. »

Il y a simplement une ellipse qui évite de reprendre le verbe que l’on vient tout juste d’écrire. Ceci écrit, je trouve la deuxième formulation plus soutenue.