Este é um problema de codecs. O VLC contém seus próprios codecs, que aparentemente lidam muito bem com o AVI produzido pelo VirtualDub.
A Sony Vegas, por outro lado, disse para não funcionar bem com Divx ou Xvid. MPEG na verdade é dito estar bem.
Eu sugiro que você primeiro instale um bom pacote de codecs, como o K-Lite e tente novamente, verificando os parâmetros de vídeo no VirtualDub. Se isso não funcionar, tente codificar no VirtualDub para algo menos compactado. Tente capturar até mesmo no formato avi sem perdas, se o computador for rápido o suficiente. Se não, tente talvez o MPEG-2, recomendado em alguns tópicos para a Sony Vegas.
A regra geral é: quanto menos compactada, mais fácil de editar e melhor a qualidade das codificações subsequentes. Se for o produto final, você pode compactar o quanto quiser e obter o nível desejado de qualidade de imagem. Os arquivos descompactados também são relativamente grandes e exigem longos tempos de processamento para conversão, portanto, é necessário um certo equilíbrio entre codificação e qualidade.
As operações de vídeo dependem muito do seu hardware. Então, geralmente é uma questão de tentar e ver o que é melhor para você.