Você faz isso no valor padrão DefaultIcon.
Windows Registry Editor Version 5.00
[HKEY_CLASSES_ROOT\MQSFile\DefaultIcon]
@=PATH TO ICON IN HEX or BINARY
Exemplo, ícone regedit para arquivos .reg.
Windows Registry Editor Version 5.00
[HKEY_CLASSES_ROOT\regfile\DefaultIcon]
@=hex(2):25,00,53,00,79,00,73,00,74,00,65,00,6d,00,52,00,6f,00,6f,00,74,00,25,\
00,5c,00,72,00,65,00,67,00,65,00,64,00,69,00,74,00,2e,00,65,00,78,00,65,00,\
2c,00,31,00,00,00
Valor decodificado
%SystemRoot%\regedit.exe,1
A vírgula, uma é a posição do ícone no caso de vários ícones.