Se houver uma maneira de desativar a caixa de diálogo de uma vez por todas, não sei o que é, mas sei como fazer isso para modos de vídeo individuais. Prepare-se para uma resposta complicada a uma pergunta simples.
O que determina se o diálogo aparece é se o modo para o qual você está mudando já foi usado no sistema anteriormente. Portanto, é lógico que convencer o Windows de que o modo que você deseja usar tenha sido usado antes desativaria a caixa de diálogo.
Então, eu pesquisei onde essa informação pode ser armazenada, e parece que, no XP, pelo menos, o lugar é o caminho do registro
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Control Panel\Settings\Video\[key named after your video adapter's device ID]\[key named after your monitor and its GUID]
Sob este caminho, existem chaves nomeadas no formato "[largura] x [altura] x [taxa de atualização] Hz". Sob essas chaves, há valores DWORD para profundidades de cor no formato "[depth] bpp", que são definidos como 1 se essa profundidade tiver sido usada nessa resolução e taxa de atualização. Então, se você quisesse desabilitar a caixa de diálogo para 1280x720 @ 60Hz e 32 bit color, você faria uma chave chamada "1280x720 x 60Hz" e colocaria um valor DWORD nela chamado "32 bpp" e ajustaria para 1.
Agora, você não diz para o que precisa, por isso não sei como gostaria de implantá-lo, ou até mesmo como poderia, dado o GUID ali; se não for para um grande número de instalações, eu diria que isso é mais problema do que vale a pena.