Qualquer distro terá uma versão x86. Se você realmente não quer rodar o X ou algo do tipo, há muitas distros que oferecem versões mínimas. O Ubuntu e o Debian têm instalações mínimas se você quiser seguir esse caminho.
Eu acho que você obterá mais recomendações é arch. Tem uma boa comunidade com muitos tutoriais e receitas para o material. Também há o slackware e o gentoo