Como o BillThor mencionou, o primeiro host será o padrão se nada corresponder. E para substituir isso e usar um host diferente do primeiro, você pode inserir o endereço IP na linha apache ServerAlias, algo assim:
# Use name-based virtual hosting.
#
NameVirtualHost *
<VirtualHost *>
DocumentRoot /var/www/
ServerName myhost.com
ServerAlias 10.20.30.40
ErrorLog logs/my-error_log
CustomLog logs/my-access_log common
<Directory /var/www/>
AllowOverride All
Order allow,deny
Options -Indexes FollowSymLinks ExecCGI
Allow from all
</Directory>
</VirtualHost>