Algum truque com ip route preference
provavelmente permitirá que você faça rotas ipv6 preferidas para rotas ipv4 (achei que havia uma configuração mais global, mas agora a leitura da página man não foi encontrada). Isso significa que, quando você recebe de volta os dois tipos de endereços, deve tentar primeiro os ipv6. Isso deve fazer as coisas funcionarem. Se você alguma vez tentar um host somente para ipv4, ele tentará falar via ipv4, mas isso falhará.
AVISO: Eu nunca fiz exatamente isso. Eu usei (o predecessor para) ip route preference
para preferir uma rota ipv4 para outra, mas não para preferência de ipv6. Então YMMV.