Eu li que um problema semelhante como este para vídeo em tela cheia no VLC pode ser resolvido clicando clicando com o botão direito em VLC.exe e, em seguida, propriedades e procure sob > guia de compatibilidade e marque a caixa rotulada: "Desativar o dimensionamento de exibição em configurações de DPI alto"