Não vejo problema aqui. Se tudo que você fizer na caixa do BSD for login, inicie alguns daemons e saia, então você não precisa do X - ou de uma interface de texto "bonita".
Por outro lado, se você quiser fazer muita edição de texto, provavelmente deve instalar o X e algum gerenciador de janelas. O gerenciador de janelas não precisa ser o KDE.
O Gnome é um gerenciador de janelas alternativo "pesado" estável, mas ele é instalado com muita bagagem que você pode não precisar (assim como o KDE).
Se você realmente deseja ser minimalista com o X-11, twm (gerenciador de janelas de abas) está nos arquivos do pacote (twm-1.0.4 é o mais recente). Só problema com twm é que você pode precisar começar com um editor não-gui como emacs ou vi ou .... Eu ainda uso agora e então em sistemas vintage com placas de vídeo de 4 MB.
WindowMaker é uma alternativa que eu gosto que está em algum lugar entre esses dois extremos e tenho certeza que existem outros.