Se você tiver outra chave útil para fazer login no servidor, então sim - caso contrário, acho que você está preso.
(Basta pensar sobre isso - o servidor tem que autenticá-lo de alguma forma . Se você não usar uma senha, e se você ainda não tiver nenhuma chave mais antiga, o servidor não pode deixá-lo entrar assim mesmo.)