A melhor opção é instalar o pacote de idioma inglês para todo o Windows 7. Ele deve estar disponível como atualização opcional no Windows Update. Não tenho certeza se isso se aplica ao Home Premium também (funciona no Ultimate).
Isso porque os encadeamentos .NET definem seu idioma de acordo com a linguagem do sistema operacional configurada por padrão. Exceções, alertas, etc. usam esse idioma para exibir suas mensagens