Eu tentei no Ubuntu 11.10, mas isso deve funcionar. Faça o download do numpy-1.6.2.tar.gz de sourceforge do que abra um terminal:
sudo apt-get install python3-dev build-essential
tar xzf numpy-1.6.2.tar.gz
cd numpy-1.6.2
sudo python3 setup.py install
Do que você precisa esperar para converter de python2 para python3 e para compilar.