Defina o diretório pessoal do usuário como /var/www/site.com/public/files
e tudo ficará bem. Claro, você terá que mover o conteúdo de seu diretório home atual.
O comando para isso é:
usermod -d /path/to/new/homedir/ username
Em que username
é o nome do usuário para o qual você está movendo o diretório inicial.