Você só pode instalar pacotes na instalação do seu sistema como root. Quando dentro do seu ambiente virtual você não precisa usar o "sudo" ao instalar qualquer pacote, porque o ambiente inteiro é de propriedade do seu usuário. Se você receber qualquer erro de "permissão negada" ao executar o pip em seu virtualenv como não-root, então há algo quebrado com o instalador de pacotes e ele está tentando instalar na instalação do sistema.