Você tem que usar o virtualenv, caso contrário todas as instalações irão para o python padrão instalado.
O que o virtualenv fará é instalar várias versões do python com módulos instalados separados no sistema e você pode optar por executar qualquer versão quando quiser. É a maneira padrão do mundo python gerenciar diferentes versões.
Instale também virtualenvwrapper que simplifica o uso de virtualenv.