Pode ser uma dor, essa questão é levantada repetidamente em #vim (Freenode) também.
Algumas pessoas recomendam não excluir os buffers e alternar com :b partial<Tab> em vez de :bn , o que funciona, mas não é o que você está perguntando.
A melhor maneira de fazer isso é mudar para outro buffer e, em seguida, :bd# , que você pode mapear, é claro.
Veja também Excluindo um buffer sem fechar a janela no Vim wikia.