O VLC não tem um plugin QuickLook, então o Finder não pode usá-lo para criar a miniatura.
Uma solução melhor para reproduzir a maioria dos arquivos AVI é instalar o Perian, que adiciona vários codecs e containers da Microsoft ao Quicktime e, portanto, permite que a maioria dos aplicativos os reproduza.