O R é provavelmente o mais famoso e mais poderoso aplicativo de estatísticas de código aberto do Ubuntu. É grátis, mas você precisará aprender a usá-lo. Se você estiver fazendo isso o tempo todo, provavelmente não será muito difícil. Se a programação não vem naturalmente para você, você pode lutar com isso.
O Matlab tem uma versão para Linux e é muito popular para análise estatística. Novamente, este é um aplicativo direcionado por idioma, portanto, há muita sintaxe para aprender.
O GNU Octave é gratuito e de código aberto. Menos popular do que Matlab ou R. Language-driven novamente.
OSPSS é provavelmente o aplicativo mais usado comercialmente e é provavelmente o melhor ajuste para exatamente o que você está fazendo (os outros farão o que você está pedindo - mas você precisará programá-los para isso). O SPSS é outro aplicativo ENORME, portanto, haverá uma certa quantidade de aprendizado. Eles têm uma versão do Linux (o Debian 6 é o mais recente que eles suportam, mas isso deve funcionar no Ubuntu também).
O Matlab e o SPSS têm várias opções de compra (dependendo da sua organização) e eles variam em diferentes países de qualquer maneira, então eu vou deixar você procurá-los. Se você pode colocar o trabalho, R é tão bom quanto eles, e livre.