Como o MySQL 5.1.X está disponível apenas nos repositórios do 10.04 (Não 12.04), eu comecei a procurar por outros com o mesmo problema. Encontrou um script no github (Obrigado kamermans)
Que mostra o seguinte:
#!/bin/bash
set -e
cd ~/
wget http://downloads.mysql.com/archives/mysql-5.1/mysql-5.1.65.tar.gz
tar -zxf mysql-5.1.65.tar.gz
cd mysql-5.1.65
./configure '--prefix=/usr' '--exec-prefix=/usr' '--libexecdir=/usr/sbin' '--datadir=/usr/share' '--localstatedir=/var/lib/mysql' '--includedir=/usr/include' '--infodir=/usr/share/info' '--mandir=/usr/share/man' '--with-system-type=debian-linux-gnu' '--enable-shared' '--enable-static' '--enable-thread-safe-client' '--enable-assembler' '--enable-local-infile' '--with-fast-mutexes' '--with-big-tables' '--with-unix-socket-path=/var/run/mysqld/mysqld.sock' '--with-mysqld-user=mysql' '--with-libwrap' '--without-readline' '--with-ssl' '--without-docs' '--with-extra-charsets=all' '--with-plugins=max' '--with-embedded-server' '--with-embedded-privilege-control'
make
sudo make install
Testei o script e ele funciona. Ainda faz o download da versão 5.1.65 e configura / cria. você também pode mudar isso para a última versão 5.1.x que é 5.1.72 e ainda funciona.
Eu também recomendo a leitura "Can ' t conectar-se ao servidor MySQL local por meio de "erro de soquete para resolver alguns problemas relativos a problemas de soquete.