A força do (s) seu (s) sistema (s) de computadores é tão strong quanto o link mais fraco.
O uso de chaves SSH é uma abordagem muito mais strong do que nome de usuário / senha, mas se o nome de usuário e a senha ainda forem uma opção, esse é o seu elo mais fraco. Se você tivesse que desabilitar a autenticação de senha em todos os outros computadores, seria um pouco mais seguro apenas devido ao fato de que sua exposição agora está limitada a um computador vulnerável a ataques de senha de força bruta.
Se você tiver um conjunto de computadores confiáveis (ou seja, você é a única pessoa com acesso root a essa caixa), eu recomendaria instalar sua chave pública em cada um desses computadores e usar o chamado "SSH Agent Forwarding" para permitir que o seu computador inicial se conecte ao SSH e se autentique com todos os computadores ao longo do caminho. Dessa forma, o computador inicial atuará como o mestre e fornecerá as credenciais necessárias, infelizmente, se você estiver usando um computador que seja "novo", não terá esse luxo.
Mesmo que você não esteja usando o Ubuntu, este é um bom artigo para ler: link
Eu não tentei fazer isso sozinho, mas a autenticação de dois fatores pode ser uma boa solução para seu caso de uso de senha / computador estrangeiro: link
No mínimo, eu recomendo que você use um gerenciador de senhas (como o mSecure) e uma senha gerada aleatoriamente e de criptografia segura e de tamanho considerável.
Aviso: Eu não sou especialista em segurança de computadores, eu acabei de pegar uma coisa ou duas ao longo dos anos.