Este é um problema de longa data. Descobri isso dez anos atrás quando tive que misturar SSH comercial no trabalho e abrir o SSH em casa. Eu encontrei novamente hoje e encontrei este post.
Se eu tivesse procurado por "sftp / scp falhar, mas ssh está OK", eu teria me lembrado da solução mais cedo!
Simplificando, .bashrc e .bash_profile etc precisam ficar em silêncio ou interferir no protocolo de conexão sftp / scp.
Veja as perguntas abertas do SSH:
2.9 - O sftp / scp falha na conexão, mas o ssh está OK. / a>