Não é possível fazer login via ssh usando a chave pública

Question

Estou tentando conectar-me ao meu servidor Ubuntu usando ssh e uma chave pública. Eu desabilitei a conexão do remoto usando uma senha, então só posso fazer o login usando uma chave.

Existem dois usuários no meu servidor. Quando me conecto usando o pubkey para o primeiro usuário, tudo corre bem. A conexão é feita, a chave é verificada, eu entro sem problemas.

Mas quando tento efetuar login como usuário secundário, a conexão é recusada. Estes foram meus passos. Suponha que meu nome de usuário secundário seja tom .

1. Eu criei um novo par de chaves no meu sistema usando ssh-keygen -o -a 100 -t ed25519 -f id_tom -C "tom"
2. copiou a chave pública na área de transferência
3. uma vez no servidor como tom , criei um novo diretório .ssh em home e criei o novo arquivo authorized_keys , alterando o arquivo de permissões para 600 e colei a chave pública

4. Eu acrescentei as seguintes linhas a ~/.ssh/config na minha máquina local:

   Host tom_server
   HostName 687.22.14.4 
   User tom
   IdentityFile ~/.ssh/path/to/id_tom
   IdentitiesOnly yes
   

Olhando para o log de depuração, posso dizer que o ssh tenta autenticar corretamente como tom e a chave certa é passada para o servidor. Então, qual poderia ser o problema aqui? O que eu estou negligenciando?

Atualização : tentei as soluções postadas em Por que ainda estou recebendo um prompt de senha com ssh com autenticação de chave pública e nada até agora funcionou.