Pode haver alguns problemas, desde uma invasão, uma atualização incorreta, um cão de guarda que se comporta mal, corrupção ou uma partição / var / log completa ou qualquer combinação dos itens acima.
Se ele está sendo reinicializado 5s segundos após o login (ou reinicialização muito regularmente), eu diria que nenhum método interativo funcionará. No momento em que você for capaz de digitar, você terá outra reinicialização.
Eu depurei e resolvi problemas semelhantes no passado enviando comandos via ssh (também porque eu autentico via RSA)
Eu colocaria minha senha de chave RSA no cache para não perder tempo extra (ssh-add solicita a senha, o ssh-agent a mantém no cache)
ssh-agent /bin/bash
ssh-add
E então:
ssh -l mylogin myserver "command"
E tive a saída de volta no meu terminal.
Como você não tem nenhum sshd funcionando, recomendo que você abra uma solicitação de suporte a tíquetes com seu provedor de VPS.