Sim, você está se abrindo para um enorme risco à segurança. Muitos utilitários do sistema são escritos em Python que são executados sob privilégios de root. Se você se der privilégios de gravação aos pacotes de site do sistema, estará arriscando que qualquer programa executado sob você (não necessariamente o programa python) possa injetar código malicioso nos pacotes de site do sistema e obter privilégios de root. Se você criar outro usuário especificamente para possuir os pacotes de site do sistema, seu vetor de ataque é apenas o setup.py mal-intencionado. É melhor não tocar nos pacotes de site do sistema e usar o virtualenv.