Acabei de perceber que isso acontece somente se eu tiver conversas nos Hangouts do Google abertas. Eles estão em todas as telas e, depois da troca de espaço de trabalho, estão focados em vez da última janela, mesmo que minimizados.
A solução é acessar as configurações de extensão do Google Chrome para os Hangouts e desmarcar a opção "Manter o Hangouts no topo de outras janelas".