Você precisa incluir -DWITHOUT_X11
como argumento. Dependendo de como você instala as portas, você pode 'incluir' (desculpe - não consigo encontrar os detalhes agora).
Como alternativa, há um pacote ports-mgmt / portconf no qual você pode especificar WITHOUT_X11, se bem entendi, dessa maneira:
*: WITHOUT_X11
Por favor, note que ele funcionará apenas com dependências X11 opcionais - a instalação do KDE ainda instalará o X11.