LustyJuggler funciona quase exatamente como você descreve.
Pressione <leader>b
para abrir uma lista de buffers com o mais recente primeiro, digite um par de letras para reduzir a lista até a que você deseja e finalmente <CR>
para abri-la.
Eu pessoalmente uso seu irmão LustyExplorer, que oferece o mesmo recurso mais um similar para o sistema de arquivos e uma "busca em buffers" similarmente projetada também.