Você precisará de uma diretiva NameVirtualHost que corresponda às suas definições de <VirtualHost> , ou então o primeiro bloco <VirtualHost> a carregar será usado para todas as solicitações nessa porta (isso corresponde ao que você está vendo, correto ?).
No caso da configuração acima:
NameVirtualHost *:80
Fora de um bloco VirtualHost . Juntamente com a sua diretiva Listen é um bom lugar para isso.