Depende dos sistemas aos quais essa chave privada dá acesso. Se é apenas para os seus sistemas em casa, e só contém suas fotos de família, não é grande coisa. Mas se ele protege um firewall corporativo ou informações bancárias, eu não faria isso.
Os keypairs SSH são usados para fornecer uma autenticação de dois fatores. Há algo que você sabe (a senha) e algo que você tem (a chave privada do SSH). Se você não tem mais a exclusividade de uma chave SSH, ou não controla seu uso, você está eliminando o fator de autenticação.
Eu sou um pouco louco, mas uma das minhas chaves SSH é armazenada em um dispositivo protegido por impressão digital. Com outras medidas de segurança em torno disso, para que a chave privada não seja deixada em arquivos temporários, etc.
Meu ponto é que sua chave privada pode estar segura por enquanto. Mas se um bug for encontrado no algoritmo de geração de chave SSH, ou se alguém conseguir uma cópia e usar força bruta para encontrar sua senha, você aumentará as chances de ser hackeado. Mais uma vez, depende do que você está protegendo com sua chave SSH.