Dê uma olhada na saída desse comando para ver se sua configuração suporta essa opção compatiblekbd .
$ Xvnc -help
Na página man do Xvnc:
-compatiblekbd
Set META and ALT keys to the same X modifier flag, as in the original
version of Xvnc by AT&T labs (TightVNC-specific).
Parece que este é um switch para Xnvc, não vncserver , e esse switch pode ser dependente de diferentes back-ends, especificamente apenas as implementações do TightVNC.