Eu não consegui reproduzir esse sintoma nem encontrar uma combinação de controles nas Preferências do Sistema e nas Preferências do Finder que seriam responsáveis por ele.
Ele soa como o localizador acha que o estado da chave de opção é o oposto do que você acha que é. Ou seja, fechar a janela existente ao abrir uma nova é o comportamento esperado quando a tecla de opção é pressionada.
Mais:
Eu entendo que isso afeta somente a pasta na área de trabalho?
Se sim, clique com o controle na área de trabalho para abrir o menu contextual, acesse More...:Configure Folder Actions...
e veja o que está ativo para essa pasta.