Eu tive exatamente o mesmo problema de importar minha chave privada SSH para o Seahorse no Ubuntu 18.04.
Aparentemente, ele também precisa do pubkey no mesmo diretório. Se você não tem, você pode criá-lo com a chave privada:
ssh-keygen -y -f ~/.ssh/id_rsa > ~/.ssh/id_rsa.pub
Ele será importado automaticamente na primeira vez que você usar sua chave.