Eu já tive esses problemas antes. O que eu tive que fazer é que eu conectei uma tela que era compatível, abaixei a resolução para 800x600 e então conectei minha primeira tela.
Tenho certeza que você poderia usar outros métodos para resolver o problema, como entrar no sistema pelo modo de recuperação e editar a resolução a partir dele. Você pode fazer isso digitando rm ~/.config/monitors.xml
de um terminal ou do modo de recuperação.
link
Você também pode tentar outro tipo de conexão gráfica (por exemplo, HDMI / DVI em vez de VGA).