O modo de tela cheia no youtube realmente ocupa toda a tela, portanto, não significa que você tenha uma janela pop-up redimensionável. O AFAIK youtube não faz janelas popup redimensionáveis, mas tenho certeza que você poderia fazer isso acontecer com um pouco de javascript.
Se não, o que você pode fazer é abrir uma janela do navegador separada para o vídeo, redimensioná-la para o tamanho desejado e usar o recurso de zoom do navegador, por exemplo, definir zoom para 200% e o vídeo será o dobro .
Você também pode estar interessado em uma interface do usuário alternativa que o youtube oferece e que a maioria das pessoas não conhece; ela foi projetada para smart tv-s, mas você pode acessá-la a partir do pc simplesmente acessando youtube.com/tv em vez do habitual youtube.com .