Se por "o sudo" você quer dizer o usuário root, então sim, é exatamente o local para armazená-lo.
Eu sei que para qualquer usuário eu tenho que salvar o arquivo de chave ssh em:
/home/any_user/.ssh/
Mas eu não sei onde salvar a chave ssh para o sudo.
Está abaixo de /root/.ssh ?
Se por "o sudo" você quer dizer o usuário root, então sim, é exatamente o local para armazená-lo.
Eu tenho que salvar o arquivo de chave ssh em:
/home/any_user/.ssh/
Não é verdade. Você pode armazenar sua chave onde quiser, mas deve ser:
~/.ssh/id_{rsa,dsa,ecdsa,...} , você precisa informar ssh sobre a chave. É para isso que temos a configuração. Você pode adicionar a linha IdentityFile path/to/your/key ao seu ~/.ssh/config para que isso aconteça. E sim, o root tem ~ (diretório inicial) em /root/ , então a resposta para sua pergunta é Sim .