Não são necessariamente os codecs, pode ser a implementação de como o Winamp exibe quadros de vídeo. Se estiver usando as atualizações de pixel 2D da velha escola, a mudança de uma pequena janela de saída para uma grande janela de tela cheia aumenta drasticamente o número de pixels sendo gravados.
Da mesma forma, você está indo para "tela cheia" ou "janela maximizada"? Estes são dois conceitos distintos, o último provavelmente significa que muitos pixels estão sendo escritos.
Se você definir o VLC para não usar a mecânica de exibição do Direct3D, o desempenho também será reduzido. Verificar para ver quais opções o Winamp tem aqui seria apropriado.
Se o vídeo funcionar bem no Windows Media Player do que provavelmente não são os codecs, como IIRC WMP e WinAmp usam os mesmos codecs em tempo de execução (o VLC os inclui).