Talvez haja algo engraçado acontecendo com o comando ping IPv6. Com certeza parece que '-A' não está fazendo o que deveria com ping6.
Tendo dito isso, o IPv6 pode não ser tão rápido quanto o IPv4, especialmente nas fases iniciais do IPv6. Não há tantas organizações encaminhando IPv6, menos IPv6. Alguns pacotes IPv6 podem estar passando por túneis. O caminho que seu pacote IPv6 leva pode ser mais longo. Um traceroute6 pode te mostrar isso.
Eu tentei fazer ping no Google via IPv4 e IPv6 e obtive resultados quase idênticos.