Eu uso o Windows 7, mas acho que é o mesmo no Windows 8.1.
Clique com o botão direito na barra de idiomas - > Configurações ... - > Idioma de entrada padrão - > Inglês (Estados Unidos).
Você também pode remover o teclado do Reino Unido dos Serviços de Texto e Idiomas de Entrada. Vá para o painel de controle - > Região e idioma - > Teclados e idiomas - > Alterar teclados ...