Há um ótimo tutorial para modificar o registro aqui. Será um pouco diferente no Server 2008, mas semelhante o suficiente para fazer sentido:
- Execute o editor de registro como administrador. Caso você não tenha certeza de como fazer isso, abra o menu Iniciar e pesquise por
regedit.exe. Clique com o botão direito do mouse no arquivoregedit.exee clique na opção "Executar como administrador".

HKEY_CLASSES_ROOT\.xls . Você pode fazer isso expandindo o nó HKEY_CLASSES_ROOT , em seguida, começar a digitar .xls ou apenas procurar por .xls , ou simplesmente rolar para baixo e procurá-lo. Você deveria ver algo assim: 
Vejaovalorde(Default),nacapturadetelaacima,queéExcel.Sheet.8.Agora,váparaessachaveemHKEY_CLASSESS_ROOT.Emoutraspalavras,váparaHKEY_CLASSES_ROOT\Excel.Sheet.8.
Excel.Sheet.8 e você verá que há várias chaves abaixo dela. Uma dessas chaves é denominada shell . Vá em frente e expanda a chave shell também. você verá algo assim: 
ObservequeaschavesemshellcorrespondemàsopçõesquevocêvêquandoclicacomobotãodireitodomouseemumarquivodoExcelnoExplorer.Aideiaéquenósqueremosadicionarumaopção"abrir em nova instância" aqui. Então, clique com o botão direito do mouse na chave shell e escolha New- > Key.

Dêàchaveonomequequiser.Porexemplo,OpenInNewInstance.Quandoachaveécriada,cliqueduasvezesem(Default)paraatribuirumvalorpadrão.Ovalorpadrãoseráaopçãoquevocêveránomenudobotãodireito.Então,nesteexemplo,usaremosOpenInNewInstance.Vocêdeveriateralgoassim:
- Adicione uma nova chave em
OpenInNewInstance. Desta vez, nomeie-o comocommand. Para definir o valor padrão da chavecommand, você precisará do caminho para o arquivo EXCEL.EXE. No Windows 7 de 64 bits e no Office 2010, defina o valor para isso:
C:\Program Files (x86)\Microsoft Office\Office14\EXCEL.EXE" "%1
Se você tiver a mesma configuração que a minha, basta copiar o acima. Caso contrário, faça os ajustes necessários para corresponder à sua configuração. Agora você deve ver algo assim.

.xls . Agora você deve ver sua opção "Abrir em nova instância". 
Cliqueem“Abriremnovainstância”eoExcelabreapastadetrabalhoemumanovajaneladeaplicativo.Cliquecomobotãodireitodomouseemoutroarquivo.xlseabra-oemumanovainstância,oExceloabreemoutrajaneladeaplicativo.
.xls no Explorer, deseja que o Excel o abra em uma nova instância do aplicativo e, em seguida, há um passo simples a ser feito. Vá para a chave shell e defina o valor padrão como OpenInNewInstance

Asinstruçõesacimapermitemquevocêadicioneumaopçãoaomenudecliquedireitode*.xlsfiles.OsarquivosdoExcel2007/2010têmumaextensãodiferente(.xlsxou.xlsm).Bastaseguirasmesmasetapas,masprocureaextensãocorreta(xlsxouxlsmemvezdexls)em#2.