ssh-add
adiciona as chaves ao agente SSH para autenticação em conexões abertas de no servidor, não para conexões com o servidor. Então você terá que fazer:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Além disso, a permissão em ~/.ssh/id_rsa.pub
não precisa ser 600
, pois é a chave pública. Pode ser 644
sem perda de segurança.