O vsync é geralmente o motivo para o rasgo.
O vsync no Windows Vista e posterior é gerenciado pelos aplicativos de composição de desktop e vídeo. Com o tema clássico, o desenho da tela é revertido para o GDI (pense no Windows XP, mas pior), onde basicamente não há controle sobre o vsync. O driver da Nvidia apenas forçará o vsync em aplicativos D3D ou OGL.
A solução neste caso é ativar o vsync em seu aplicativo de vídeo. Se o seu aplicativo de vídeo atual não suportar o vsync, obtenha um que o faça. Tanto quanto eu sei, esse recurso é suportado por exemplo no Media Home Classic Home Cinema.
Você também deve verificar se as configurações de vídeo da taxa de atualização ou da taxa de quadros são diferentes quando aero ou clássico estão ligados.