:windo if &buftype == "quickfix" || &buftype == "locationlist" | lclose | endif
Isso executará o comando: lclose em todas as janelas que não exibem listas de localização rápida ou de localização rápida. Eu não tinha um conjunto de listas de localização para testá-lo, então testei com um tipo de buffer diferente e funcionou para esse caso.
Você provavelmente desejará torná-lo um comando ou atalho no seu .vimrc também.