Eu não esperaria que o atraso melhorasse atualizando para 12.04, embora algumas mudanças recentes no kernel tenham melhorado o desempenho. Eu também não esperaria que isso piorasse ainda.
Eu recentemente instalei 12.04 em alguns computadores indo mais para trás do que a era do núcleo de processadores e geralmente só tinha 1G ram. Eu não tive problemas e não foi particularmente lento (definitivamente muito mais rápido que um XP instalado no mesmo hardware).