Certamente há sinalizadores nos cabeçalhos do executável para indicar alguns tipos de compatibilidade, mas suspeito que ele esteja vinculado apenas a 32 ou 64 bits e à plataforma (MIPS, Alpha, PowerPC, Intel, ...) para antigos (NT3, NT4 vezes) executáveis.
Normalmente, o papel do instalador (se houver) é verificar a compatibilidade do SO. Se não houver instalador, o executável fará a verificação de compatibilidade do SO na lógica do próprio código, e não em um local conhecido que você possa verificar antes de executar o aplicativo.
Então, duvido, depende de onde no código e como a verificação é feita e muda para cada aplicativo que faz essa verificação.