Você precisa?
Não
Você deveria?
Sim
Por que chaves particulares?
Você pode configurar o acesso SSH de várias maneiras diferentes.
par de chaves privada / pública é um método comum (e SECURE) para servidores Linux e o método padrão para AMIs do Ubuntu.
Onde você pode armazenar sua chave privada?
Você pode armazenar sua chave privada em um local seguro (um disco compartilhado ou USB pode funcionar se você puder garantir uma boa segurança física ao dispositivo ... você também desejará considerar a criptografia do disco e / ou colocar uma frase secreta na sua chave privada).
Você também pode usar várias chaves privadas para diferentes dispositivos. Se uma de suas chaves ficar comprometida, você só precisa substituir essa e as outras estão bem.
Alternativas
Assim que você obtiver acesso ao seu servidor, poderá configurar todos os tipos de acesso (como senhas em vez de chaves, que não posso desencorajar o suficiente).
Você pode procurar bloquear o acesso ao SSH para determinados IPs, usando autenticação de dois fatores e várias outras coisas, no entanto, pares de chaves privadas / públicas são comuns e altamente recomendados.