Eu sugiro que você tenha pip em seu virualenv, é útil.
Nota: deve ter as dependências do pygame instaladas, você pode descobrir quais são e instalá-las com:
sudo apt-get build-dep python-pygame
Em seguida, tente isto:
rm -rf ~/.virtualenvs/pywork3 #clean what you have there
mkdir -p ~/.virtualenvs/pywork3
virtualenv --no-site-packages --distribute -p /usr/bin/python3.3 ~/.virtualenvs/pywork3
. ~/.virtualenvs/pywork3/bin/activate
pip install pygame