Você não precisa usar o regedit.
Clique com o botão direito sobre cada tipo de arquivo.
Selecione "Abrir com >" e depois "Escolher programa ..."
Procure o "Microsoft Visual Web Developer 2010 Express" na lista e selecione-o. Se não estiver lá, selecione "Browse ..." e encontre o exe em
C:\Program Files\Microsoft Visual Studio 10.0\Common7\IDE
É chamado de VWDExpress.exe
.
Embora o Web Developer Express esteja instalado corretamente, ele já deve estar na lista "Abrir com". Você poderia tentar reparar a instalação.