Eu acho que algo assim irá funcionar (disclaimer: isso é do topo da minha cabeça, eu não testei isso ainda):
NameVirtualHost 10.0.0.1:80
<VirtualHost 10.0.0.1:80 [2001:db8::1]:80>
ServerName blabla
...
</VirtualHost>
<VirtualHost 10.0.0.1:80 [2001:db8::2]:80>
ServerName blabla2
...
</VirtualHost>
etc...