chmod 600 ~/.ssh/id_rsa; chmod 600 ~/.ssh/id_rsa.pub (ou seja, chmod u=rw,go= ~/.ssh/id_rsa ~/.ssh/id_rsa.pub ) estão corretos.
chmod 644 ~/.ssh/id_rsa.pub (ou seja, chmod a=r,u+w ~/.ssh/id_rsa.pub ) também estaria correto, mas chmod 644 ~/.ssh/id_rsa (ou seja, chmod a=r,u+w ~/.ssh/id_rsa ) não seria. Sua chave pública pode ser pública, o que importa é que sua chave privada seja privada.
Além disso, o diretório .ssh deve ser escrito somente por você: chmod 700 ~/.ssh ou chmod u=rwx,go= ~/.ssh . É claro que você precisa ser capaz de ler e acessar arquivos nele (permissão de execução). Não é diretamente prejudicial se outros puderem lê-lo, mas também não é útil.
Você não precisa de sudo . Não use sudo para manipular seus próprios arquivos, o que pode levar a erros.
O erro sobre .ICEauthority não está relacionado aos comandos chmod que você mostra. Ou é uma coincidência ou você executou alguns outros comandos que não está nos mostrando.