Obviamente, você não pode deixar o Apache parar de escutar neste IP, mas você pode configurar um novo vhost padrão para exibir uma página em branco (ou 403 ou redirecionar ou qualquer outra) sempre que uma requisição sobre IP for recebida. é considerado boa prática.
Basta adicionar uma nova definição de vhost, que será lida primeiro pelo Apache, como esta:
<VirtualHost <your-ip>:80>
DocumentRoot /var/www/blank
</VirtualHost>
e coloque um index.html vazio em /var/www/blank . Para fazer com que o Apache leia primeiro o novo vhost, coloque-o na parte superior do arquivo de definição de site que será carregado primeiro.