Para testar, tente usar usando :bwipeout .
Se isso funcionar, set bufhidden=wipe é o que você precisa. No vim :help file windows.txt descreve as diferenças entre os valores de delete, unload e wipe de bufhidden como:
Como
:bdelete, mas realmente exclua o buffer. Tudo relacionado ao buffer é perdido. Todas as marcas neste buffer tornam-se inválidas, configurações de opção são perdidas, etc. Não use isso a menos que você saiba o que está fazendo.