O problema é que o ssh faz coisas no loopback com o ipv6 e eu tive a configuração ip6tables para eliminar todo o tráfego. Apenas fiz o seguinte e agora funciona:
ip6tables -A INPUT -i lo -j ACCEPT
ip6tables -A OUTPUT -o lo -j ACCEPT
ip6tables -A FORWARD -i lo -o lo -j ACCEPT
Obrigado ao ezakimak no #gentoo por apontar o ângulo do ipv6.