Se você quiser apenas instalar o Firefox e executá-lo remotamente, instale o pacote firefox . Se você também quer rodar o Firefox localmente, você precisará de um ambiente GUI: instale o pacote x-window-system . Se você também quer rodar o Firefox localmente confortavelmente, você precisará de um gerenciador de janelas (qualquer um dos pacotes que forneçam o pacote x-window-manager virtual) ou desktop (o padrão do Ubuntu é Gnome, instale pelo menos gnome-core ).
Eu suponho que você tenha apenas uma linha de comando à sua disposição; use o comando apt-get para manipular pacotes, ou aptitude para uma linha de comando ou um programa interativo em modo texto.
apt-get install firefox x-window-system gnome-core
Estritamente falando, este não será um sistema mínimo, já que ele utilizará alguns pacotes recomendados, mas não estritamente necessários. Instale todos os pacotes recomendados, a menos que você entenda por que não precisa deles (em outras palavras, se precisar perguntar, instale todos eles).