O seguinte, salvo como um arquivo .REG, editado para especificar meu EXE personalizado e importado para o registro, funciona para mim no Windows 7:
Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\mailto]
"URL Protocol"=""
[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\mailto\shell]
[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\mailto\shell\open]
[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\mailto\shell\open\command]
@="C:\Path\to\Program.exe"
[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Classes\mailto]
"URL Protocol"=""
[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Classes\mailto\shell]
[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Classes\mailto\shell\open]
[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Classes\mailto\shell\open\command]
@="C:\Path\to\Program.exe"
Lembre-se de que sua configuração sempre pode ser substituída pelo usuário por meio das opções do navegador.