Em vez do modo de segurança, inicie no modo "Baixa resolução". Deve haver algumas opções de menu abaixo do Modo de segurança nessa lista.
Como alternativa, você pode abrir o msconfig a partir de uma linha de comando. Navegue até a guia Boot e marque a caixa Base Video no modo de segurança e reinicie.
Editar: para responder à sua segunda pergunta sobre detecção. Um monitor identifica-se a um computador, junto com suas especificações e resolução nativa sobre algo chamado EDID. O EDID reside em um chip ROM no monitor e é um padrão.
No entanto, os fornecedores de sistemas operacionais (como a Microsoft), os fabricantes de placas de vídeo e os fabricantes de monitores costumam executar uma tarefa complicada ao implementá-lo. Isso leva a um suporte de má qualidade para a propaganda de res nativo, etc, e quando isso acontece, causa problemas como o que você está tendo.