Não sei se você está por trás de um proxy corporativo, mas definindo http_proxy e https_proxy com os seguintes valores ajudou para mim (exemplo no windows):
set http_proxy=http://proxy.company.com:8000/
set https_proxy=https://proxy.company.com:8000/
c:\Python27\Scripts\virtualenv.exe my-virtual-env