My question is if I disable password authentication - what if I lose my private key? How will I ever be able to log back into my server again?
É por isso que você deve sempre ter alguma forma de gerenciamento Out-of-Band para o seu servidor. Para um servidor físico, seria algo como o cartão DRAC da Dell ou o cartão iLO da HP. Para o seu Linode, é para isso que LISH serve. Usando essas soluções OOB, você pode entrar no console real do seu servidor usando seu nome de usuário e senha. Estes também são úteis quando a rede falha no seu servidor e você não consegue acessá-lo.
Mas honestamente, apenas não perca sua chave. Proteja-o com uma senha e faça backup em algum lugar seguro. Heck, imprimir e guardá-lo em seu cofre. Eles são arquivos relativamente pequenos, e não há desculpa para não cuidar bem disso.
Atualização: Em relação à segurança LISH: use credenciais / chaves diferentes para LISH. Isso é tudo o que existe - credenciais que, se comprometidas, não concederiam acesso ao seu servidor.
No que diz respeito a alguém descobrir que o Linode é o seu provedor, bem que a informação está disponível para qualquer pessoa , e é apenas um simples comando whois
ausente.