Outra coisa a tentar é tentar registrar o arquivo que você está tentando acessar com o sudo, com o usuário do Apache. Algo ao longo das linhas de:
sudo -u apache2 stat /var/www/public/index.html
Supondo que sua raiz da web esteja em / var / www e que seu servidor Apache seja executado como o usuário apache2. O comando acima confirmará se o processo do Apache pode ou não ler o arquivo em questão (tem permissões de sistema de arquivos suficientes). Se for legível (você obtém a saída stat em vez de Permission denied), então o problema provavelmente está na própria configuração do servidor Apache, como o @mdpc sugeriu.