Bonjour à tous, comment savoir quels verbes ne peuvent être suivis d’un infinitif ? On peut par exemple dire « je …

Bonjour, j’ai cette phrase « Rien que de m’imaginer là-bas, j’ai peur. » Est-ce correct ? Ou doit-on dire « Rien qu’à m’imaginer …