O VNC usa a porta 5900, portanto, se você não tiver aberto essa porta, estará bloqueado sem acesso a esse aplicativo. Entre usando o SSH e abra a porta apropriada no ufw para o VNC.
Dependendo da sua configuração, você pode ter que encaminhar as portas apropriadas no roteador da sua LAN também.
Não estou claro sobre o que a TV tem a ver com esse problema.