Como Peter disse, ligue o VirtualHost a um IP explícito. Se você tem vários IPs que devem resolver seu problema ali mesmo.
Se você estiver executando em um único IP, certifique-se de definir um nome de servidor explícito no seu: 443 VirtualHost (s).
Lembre-se também de que o Apache possui VirtualHosts padrão, que também podem estar funcionando contra você. O que quer que o VirtualHost seja definido primeiro para uma determinada porta, torna-se o padrão. Eu frequentemente me vejo definindo VirtualHosts explícitos para explicar isso. Talvez no seu cenário você possa criar um VirtualHost descartável e conectar um certificado auto-assinado. Isso deve permitir que seus sites definidos explicitamente vivam por conta própria.
Edit: Eu retiro meu comentário sobre o ServerName depois de levar em consideração o comentário do Doon.
Você pode querer olhar para NameBasedSSLVHosts no wiki do Apache, mas eu não acho que isso resolve o seu problema desde Parece pelos seus exemplos diferentes domínios são usados. Isso funcionaria se fossem subdomínios compartilhando um certificado curinga.