Em suma, você não pode - é assim que o Apache funciona. Se você estiver ouvindo esse IP (conforme o comentário do Prix), o Apache usará o primeiro host virtual, conforme definido, ao fornecer uma solicitação de IP.
Se isso não for desejado, considere alterar o primeiro host virtual para ser o que você realmente deseja que seja exibido se for por IP. Se isso não é o que você quer, então considere colocar em redirecionamento como o primeiro host virtual para fazê-lo ir em algum lugar que você quer.
# default
<VirtualHost *:80>
RewriteEngine on
RewriteRule ^/(.*) http://othersite.com/$1 [L,R]
</VirtualHost>
Você não pode impedir que o Apache ouça esse IP, mas você pode fazer algo que faça o que quiser com um pouco de criatividade.