Isso é quase uma resposta porque não vaza informações da porta 80 por acidente:
Crie um arquivo em /etc/apache2/sites-available/forbidipaccess.conf com o conteúdo:
NameVirtualHost *:80
<VirtualHost *:80>
<Location />
Order deny,allow
Deny from all
</Location>
</VirtualHost>
Em seguida, execute:
sudo a2ensite forbidipaccess
e
sudo service apache2 reload
Isso não bloqueia o IP como tal, mas emite uma resposta 403 Forbidden
se não houver uma configuração com esse nome de domínio específico como seu ServerName ou ServerAlias.
Se quiséssemos ser super legais e não gostássemos da mensagem "Proibido", poderíamos alternativamente usar um Apache Rewrite para retornar um 301/2/3 que encaminharia o usuário para o SSL equivalente, por exemplo,
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule (.*) https://%{SERVER_NAME}/% [R=301,L]