Você pode usar o virtualenv. O virtualenv permite que você instale bibliotecas python em um diretório separado das bibliotecas do sistema. Você pode configurar o diretório para estar em um diretório no qual tenha permissão de gravação (por exemplo, seu diretório pessoal).
Como alternativa, você pode alterar o grupo dos arquivos com chgrp py-installer -R /my/python/packages/directory
e executar o instalador, pois esse grupo com sudo -g py-installer python setup.py
é um pouco mais arriscado, pois você pode acabar com permissões de pasta incorretas se não for cuidadoso.