Você o desejará se precisar adicionar sua chave a outro servidor (é perfeitamente normal ter uma chave privada por usuário por máquina e copiar a chave pública para um grande número de arquivos de chaves autorizadas de máquinas).
É também um arquivo muito pequeno que não precisa ser mantido em segredo, então não há motivo para excluí-lo.
Se você tiver excluído, poderá recuperá-lo com ssh-keygen -y
, então também é bastante seguro excluir.