Tudo bem, foi culpa minha. A chave foi realmente criptografada, como pude ver abrindo-a em um editor de texto. O fato de que sem sudo não me pediram uma frase-senha foi porque eu já inseri a senha no login (acho que é algum utilitário gnome que armazena em cache) e esqueci por causa do longo tempo de atividade:)
Com sudo, eu acho, não consegui acessar essa senha em cache.
Para descriptografar uma chave privada, você pode usar openssl rsa -in id_rsa -out id_rsa.decr
, depois rm id_rsa
, seguido por mv id_rsa.decr id_rsa
.