O SSH criptografa toda a sua comunicação entre o cliente e o servidor. Portanto, ambos, password e pubkey auth são perfeitamente seguros em um proxy público. A única coisa que você deve verificar é a impressão digital do servidor. O OpenSSH fará isso por você depois de se conectar ao servidor uma vez, apenas certifique-se de obter a impressão digital correta ao conectar-se inicialmente.
BTW, provavelmente não é uma prática normal, mas nada que você deva ter medo de usar um proxy público para isso. Eu às vezes uso Tor para isso.