Eu não acho que você possa mudar essa limitação. Mas para melhorar a segurança tente usar caracteres especiais, números e letras maiúsculas na sua senha
tightvncserver limita as senhas VNC a 8 caracteres, e até as trunca se tentar digitar uma senha mais longa.
Meu entendimento é que isso é (foi?) devido a problemas de compatibilidade, pelo que eu posso reunir de postagens de namoro online por alguns anos.
Este ainda é o caso - e se não, o que pode ser feito para permitir senhas mais longas?