OK, respondeu.
Quando executo a opção ssh with -v , ele me mostrou o erro real.
Foi causado por configurar incorretamente direitos de acesso errados para /dev/tty , o que quer que seja, e o ssh de alguma forma não gostou. sudo chmod 777 /dev/tty pareceu corrigir isso.