Dê uma olhada na saída desse comando para ver se sua configuração suporta essa opção compatiblekbd
.
$ Xvnc -help
Na página man do Xvnc:
-compatiblekbd
Set META and ALT keys to the same X modifier flag, as in the original
version of Xvnc by AT&T labs (TightVNC-specific).
Parece que este é um switch para Xnvc, não vncserver
, e esse switch pode ser dependente de diferentes back-ends, especificamente apenas as implementações do TightVNC.