É realmente difícil encontrar a caixa de seleção que precisa ser desmarcada , para que você possa editar o arquivo rc (mas não use o notepad.exe para fazer isso, pois o arquivo não será formatado).
C:\Users\%USERNAME%\AppData\Roaming\VLC
--- vlcrc.default 2011-12-16 11:46:51.000000000 -0800
+++ vlcrc.noresize 2010-12-05 20:00:26.000000000 -0800
@@ -1088,7 +1088,7 @@
#qt-maximized=101
# Resize interface to the native video size (boolean)
-#qt-video-autoresize=1
+qt-video-autoresize=0
Aqui é onde você encontra a opção na interface.