Isso realmente depende de qual variante do VNC você está usando atualmente.
Muitos programas VNC têm uma opção para Viewer Only
, Disable remote events
ou similar.
Aqui estão as opções para o RealVNC no Windows: Então, deixe-nos saber o que você está usando e podemos tentar ser mais específico para ajudá-lo!