O problema é que o Windows não tentou nenhuma pesquisa AAAA, presumivelmente porque não é considerado útil realizar pesquisas AAAA quando o único endereço IPv6 é um endereço Teredo.
A conectividade IPv6 está funcionando desde que um endereço explícito seja especificado.
Por isso, consegui obter conectividade substituindo o nome no campo hostname pelo endereço IPv6 real do servidor. Depois disso, o WinSCP conseguiu se conectar.
No meu caso, os servidores têm endereços IPv6 estáticos (pelo menos enquanto permanecerem no provedor atual). Portanto, ter um endereço IPv6 estático nos logins salvos do WinSCP não é um grande problema.