Armazene suas chaves em outro local que seja seguro, você sabe - tenha um backup e não use chaves sem uma frase secreta.
Certifique-se de que o VPS que você requisitou tenha acesso fora de banda através de um console de alguma descrição que permitirá que você efetue login através de um nome de usuário / senha no caso de o ssh não estar disponível.