Você pode fazer isso com qualquer distribuição do Linux e não instalar a GUI. O Slackware é uma opção popular para isso, assim como é instalar o Debian sem a GUI. Se você decidir ir com uma distro estabelecida, pesquise-a e descubra qual delas atende às suas necessidades específicas.
Outra opção seria construir seu próprio Linux. Isso levará algum tempo e paciência, mas é gratificante. Confira Linux from Scratch para mais informações sobre isso: link