VLC é um player de vídeo muito complexo com muitas opções. Todo o processo de decodificação e exibição de vídeo é extremamente complicado. Muitas vezes ajustes podem ser feitos para melhorar o desempenho, mas na maioria das vezes esses ajustes são específicos para um arquivo ou formato de mídia específico. Seria extremamente difícil montar um guia sobre como ajustá-lo sem ser específico para um formato único.
IMHO o pessoal da VLC fez um ótimo trabalho ao fornecer padrões razoáveis que funcionam muito bem. Se houver algum aspecto específico do VLC que você deseja ajustar, inclua-o na sua pergunta; caso contrário, se os padrões não estiverem sendo cortados, a documentação do VLC é provavelmente o melhor lugar para começar: