Em vez de mexer no Registro, você tentou acessar o Painel de Controle. Em "Associar um tipo de arquivo ou protocolo a um programa", você pode selecionar a extensão e associar um programa a ela. Clicar no botão "Alterar programa" permite navegar até a pasta onde está o arquivo .exe.
Além disso, verifique se você está selecionando o arquivo .exe correto. Se você clicar duas vezes no arquivo .exe que deseja associar, ele iniciará o programa que você está esperando?