O Ports.conf deve ficar assim:
Listen 80
Listen 443
NameVirtualHost 1.1.1.1:80
NameVirtualHost 1.1.1.1:443
NameVirtualHost 2.2.2.2:80
NameVirtualHost 2.2.2.2:443
NameVirtualHost domain1.org:80
NameVirtualHost domain1.org:443
NameVirtualHost domain2.org:80
NameVirtualHost domain2.org:443
E sua configuração do vHosts:
<IfModule mod_ssl.c>
<VirtualHost 1.1.1.1:443>
ServerName domain1.org
# more configs...
</VirtualHost>
</IfModule>
<VirtualHost 1.1.1.1:80>
ServerName domain1.org
</VirtualHost>
<IfModule mod_ssl.c>
<VirtualHost 2.2.2.2:443>
ServerName domain2.org
# more configs...
</VirtualHost>
</IfModule>
<VirtualHost 2.2.2.2:80>
ServerName domain2.org
</VirtualHost>
<IfModule mod_ssl.c>
<VirtualHost domain1.org:443>
ServerName domain1.org
# more configs...
</VirtualHost>
</IfModule>
<VirtualHost domain1.org:80>
ServerName domain1.org
</VirtualHost>
<IfModule mod_ssl.c>
<VirtualHost domain2.org:443>
ServerName domain2.org
# more configs...
</VirtualHost>
</IfModule>
<VirtualHost domain2.org:80>
ServerName domain2.org
</VirtualHost>
Na verdade, PODERIA ser o suficiente para mover sua <VirtualHost *>
config para a parte inferior do arquivo. Acredito que o apache avalie os nós de configuração de cima para baixo e o primeiro que corresponda ganha.