Pode ser uma dor, essa questão é levantada repetidamente em #vim
(Freenode) também.
Algumas pessoas recomendam não excluir os buffers e alternar com :b partial<Tab>
em vez de :bn
, o que funciona, mas não é o que você está perguntando.
A melhor maneira de fazer isso é mudar para outro buffer e, em seguida, :bd#
, que você pode mapear, é claro.
Veja também Excluindo um buffer sem fechar a janela no Vim wikia.