Sua configuração do apache parece correta, mas um pouco mais complexa do que precisa ser se você quiser que um site seja acessível tanto no IPv4 quanto no IPv6 (pilha dupla).
Em vez de
<VirtualHost ip.v4.address:80>
...
</VirtualHost>
<VirtualHost [ip.v6.address]:80>
...
</VirtualHost>
você pode fazer
<VirtualHost ip.v4.address:80 [ip.v6.address]:80>
...
</VirtualHost>
Dessa forma, os hosts virtuais únicos atendem em ambos os endereços IP. É muito mais fácil manter!
Se você realmente quer um site diferente no IPv6, sua configuração está correta, é claro.