Acabei adicionando outra condição de reescrita, então meu Virtualhost em funcionamento ficou assim:
<VirtualHost *:80>
DocumentRoot /var/www/public_html
ServerName domain.com
RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !^.*\.(php)$ [nocase]
RewriteRule . /index.php
</VirtualHost>