Você pode fazer com que X ignore certas portas (fantasmas) adicionando entradas como essa ao seu /etc/X11/xorg.conf
:
Section "Monitor"
Identifier "HDMI1"
Option "Ignore" "True"
EndSection
Neste caso, a porta HDMI1 é ignorada. Para descobrir quais portas você pode querer ignorar, você pode executar
xrandr -q