Talvez eu devesse ter persistido um pouco mais antes de postar, mas qualquer sugestão de melhoria ainda é mais do que bem-vinda.
No final, encontrei esta documentação útil a partir do vimtips .
Esta foi a função do Vim que escrevi:
function! OpenBibtexPDF()
let s:word = expand("<cword>")
let s:cmd = "!gnome-open 'find ~/lib/ -iname '" . s:word . ".pdf' | head -1'"
execute s:cmd
endfunction
map <silent> <leader>bb :call OpenBibtexPDF()<cr>