Abra as preferências do VLC, vá para Video Options - > desative a caixa de seleção 'Decorações de janelas'
Em seguida, vá para as "Opções de interface" - > desativar o "incorporar vídeo na interface".
Isso reproduzirá o vídeo em uma janela sem borda (também funciona no Windows)
a única coisa que não descobri é como definir o tamanho dessa janela).
Atualização:
Você pode forçar a largura e a altura da janela de reprodução
adicionando "width = 640 height = 480" às propriedades de atalho nas janelas (ou a linha de comando em outros sistemas, por exemplo).