Semelhante à resposta principal, mas acho melhor excluir apenas a subchave UserChoice porque você não precisa matar todas as informações sobre a extensão do arquivo (como a lista aberta), apenas a "escolha o usuário selecionou "(aka-UserChoice). Eu uso um arquivo REG para torná-lo rápido para repetir para teste. Você pode copiar e colar isso, incluindo a linha de versão, e salve como um arquivo REG. Basta alterar .ics e .vcs para qualquer extensão desejada (ou apenas remover uma linha se quiser redefinir apenas uma):
Windows Registry Editor Version 5.00
[-HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\FileExts\.ics\UserChoice]
[-HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\FileExts\.vcs\UserChoice]
Se você não estiver familiarizado com os arquivos REG, as linhas acima que começam com "-" simplesmente excluem essas chaves do registro.
Além disso, e a principal razão pela qual postei esta resposta, com essa solução, não preciso reiniciar o explorer.exe. Talvez algo específico para minha configuração, mas eu usei no Win7 e no Win8 e nunca tive que reiniciar o explorer.exe para que a alteração tivesse efeito.