É mais do que SSH e VNC são coisas separadas, e seus requisitos de senha não estão relacionados uns aos outros. Você está usando o SSH como o transporte de rede, então você está autenticando em SSH (senha ou chave, não importa).
Então você está acessando o serviço VNC, que possui seu próprio esquema de autenticação. O VNC não sabe como você se conectou à caixa e não sabe quais contas de usuário deseja usar (nunca usei o VNC no Linux; presumo que esteja conectando à área de trabalho atual).