Em vez de usar ping6 , tente ssh'ing para ::ffff:127.0.0.1 .
Acho que a falha específica aqui está relacionada a ping6 , não aos endereços mapeados do IP4.
O IPv4 não mapeia endereços IPv6 usando IPv4 e, portanto, não é adequado para ping6 ?
O Linux possui uma opção de soquete, IPV6_V6ONLY, que impede alguns aplicativos que usam endereços mapeados IPv4. No entanto, acho que para ping6 a questão específica é a maneira como funciona internamente.
Este é do netbsd, mas acho que cobre o questão.
You should be aware that IPv4 mapped IPv6 is still IPv4 - it's only presented in a IPv6-resembling text format (or actually, when calling your operating system's libraries or kernel, binary socket address format.)
For dual-protocol applications this is no problem - they know how to switch (implicitly, when using the right (modern) library calls).