Você deve especificar o arquivo de saída, por exemplo:
ssh-keygen -t rsa -f ~/.ssh/my-new-key
para conectar:
ssh -i ~/.ssh/my-new-key 192.168.x.x
ou configure um arquivo de configuração ssh:
nano ~/.ssh/config
coloque algo como:
Host my-server
HostName 192.168.x.x
User root
Port 22
IdentityFile /home/username/.ssh/my-new-key
Finalmente:
ssh my-server