Após 18 meses com este problema acabei resolvendo-o. Eu resolvi isso fazendo uma atualização para o Windows 10. Esse problema não surgiu desde que realizei a atualização.
Dado que tive esse problema em todos os dispositivos em que instalei o Windows 8.1, e em todos os casos o problema foi resolvido, quando atualizo para o Windows 10, sinto que é seguro concluir que o problema era simplesmente corrigido na versão do IE que vem instalado no Windows 10.
Eu tinha três laptops de todas as marcas com Windows 8.1, um Surface Pro 3, uma máquina virtual executando a atualização do Windows 8.1, uma área de trabalho principal executando o Windows 8.1 com todas as atualizações e uma segunda máquina virtual executando o Windows 8.1 com todas as atualizações instaladas .
Dado que em todos os casos a reinicialização do IE resultou exatamente no mesmo comportamento, concluirei que o bug foi introduzido no Windows 8.1 Update 1. Conforme descrito na pergunta em si, esse problema só apareceu APÓS, a máquina foi atualizada para o segundo trimestre de 2014 8.1 Atualização (também conhecida como Atualização 1).