Eu tive o mesmo problema - a Atualização 2 insistiu em rodar em francês em duas máquinas diferentes. Depois de analisar os arquivos de log e a saída do Process Monitor, tentei o seguinte e funcionou.
Execute regedit e defina o valor da chave HKEY_CURRENT_USER\Software\Microsoft\VisualStudio.0\General\UILanguage
para 0. Em seguida, execute o VS2012.2.exe novamente.
Sua milhagem pode variar, é claro.