Você pode colocar as seguintes linhas no seu vimrc para sair do vim se algum dos seus argumentos for um diretório:
for f in argv()
if isdirectory(f)
echomsg "vimrc: Cowardly refusing to edit directory " . f
quit
endif
endfor
Alternativamente, se você quiser apenas sair se os argumentos all forem diretórios, você pode tentar algo assim:
let ndirs = 0
for f in argv()
if isdirectory(f)
let ndirs += 1
endif
endfor
if ndirs > 0 && ndirs == argc()
echomsg "vimrc: Cowardly refusing to edit directories"
quit
endif