ssh-add adiciona as chaves ao agente SSH para autenticação em conexões abertas de no servidor, não para conexões com o servidor. Então você terá que fazer:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Além disso, a permissão em ~/.ssh/id_rsa.pub não precisa ser 600 , pois é a chave pública. Pode ser 644 sem perda de segurança.