Sim, você deve conseguir removê-lo com bastante segurança.
Mas eu faço um backup ou movo-o em vez de excluí-lo. Se houver algum serviço em que seu único acesso seja baseado em chave (em geral, uma boa ideia), você será bloqueado.
mv ~/.ssh ~/ssh-backup