Alternatetab é apenas a extensão que você procurava!
Siga as instruções Managing Extensions
aqui para ativá-lo (você deve ler o texto antes dessa seção também ). Como são extensões pré-instaladas, você só precisará ativá-las (a menos que você as tenha removido, caso em que você precisará seguir a seção Installing a new Extension
).
Então, agora, pressionando ALT + TAB e pressionando TAB sem soltar ALT (até que você selecionou a janela que você quer mudar - então simplesmente solte ambas as teclas e ela colocará aquela janela no topo) você deve ser capaz de alternar entre janelas individuais ao invés de aplicações!