Sim, não há problema em copiá-los: o Git for Windows (que você chama de "msysgit") vem com uma compilação de um cliente OpenSSH, e como o Ubuntu envia o OpenSSH como seu cliente SSH, as chaves não exigem conversão .
Note que ambas as chaves devem ser colocadas sob o diretório ~/.ssh na máquina Ubuntu (note que se este diretório ainda não existir e você estiver prestes a criá-lo manualmente, ele deve pertencer ao seu usuário principal e grupo e tem 0600 modo de acesso). Em seguida, o arquivo id_rsa - a chave privada - deve ser definido para ter o modo de acesso 0600 . A chave pública ( id_rsa.pub ) deve usar o modo de acesso 0644 - ou seja, acesso de gravação somente para você e acesso de leitura para todos.
Observe que não há problema em perder id_rsa.pub , pois ele pode ser gerado novamente a partir de sua chave privada a qualquer momento.