Provavelmente depende de algum outro pacote que precise de bibliotecas X11. Muitas vezes IMHO é muito puxado através de recomendações e sugere, eu costumo colocar isso em /etc/apt/apt.conf.d/local:
APT::Install-Recommends "0";
APT::Install-Suggests "0";
execute o aptitude interativamente, selecione o pacote que eu quero instalar, aperte 'g' e verifique quais pacotes são sugeridos / recomendados (mas não selecionados) e adicione qualquer um que eu considere ser adições úteis. Isso diminui muito.
Dito isto, ter todos os tipos de coisas relacionadas ao X11 em um sistema sem qualquer tela X11 não é um problema, apenas ocupa espaço em disco.