Você parece ter o valor % na sua opção 'viminfo' ; ele permite a restauração da lista de buffers. Como isso está desativado por padrão, você (ou sua distribuição do Vim) deve ter ativado isso.
:help viminfo-% :
% When included, save and restore the buffer list. If Vim is started with a file name argument, the buffer list is not restored. If Vim is started without a file name argument, the buffer list is restored from the viminfo file.