Essas duas linhas devem negar todos os IPs:
Order allow,deny
Deny from all
No entanto, esta não é toda a história. Você precisa colocá-los no lugar certo. No Ubuntu, você geralmente precisa editar o arquivo /etc/apache2/sites-enabled/000-default
que contém os vhosts definidos.
Se você tiver uma configuração diferente, poderá postar a configuração completa para obter ajuda.