O projeto M não é automaticamente integrado ao VLC (ou qualquer aplicativo que conheça). Você precisaria encontrar um plug-in para o aplicativo que permita usar as visualizações do Project M.
Até onde sei, não há nenhum plugin existente para o VLC que permita que você faça isso. Então, como o spm diz, você precisará iniciar projectM-pulseaudio
separadamente.