Edite seu /etc/apache2/sites-enabled/000-default e entre <Directory /var/www/></Directory> replace
Order allow,deny com Order deny,allow e
allow from all com deny from all .
Depois, você pode simplesmente adicionar seus ips com allow from IP . Após um recarregamento do apache, deve funcionar.
Veja também a documentação oficial .
Além disso, por padrão, o apache é executado sob o usuário www-data , portanto, um chown -R www-data:www-data /var/www para alterar o usuário e o grupo deve resolver seu problema raiz.