Adicionar a opção -f à sua linha de comando SSH deve aproximá-lo do que você deseja: faz com que o cliente ssh vá para o segundo plano, mas somente após a conexão ter sido estabelecida e todas as solicitações de senha terem sido atendidas, permitindo que vncviewer inicie assim que a conexão SSH for estabelecida.
Se iniciar o servidor VNC no sistema remoto levar um tempo considerável, talvez você queira adicionar sleep <some number of seconds> entre a linha de comando ssh e a linha de comando vncviewer , para permitir que o servidor VNC conclua a inicialização -up antes que vncviewer tente se conectar a ele.
Minimizar a janela do terminal exigiria o envio de um comando "minimize / iconify this window" para o gerenciador de janelas do seu ambiente de área de trabalho local. Os detalhes dependerão do tipo de ambiente de área de trabalho que você está usando, mas, em geral, os comandos wmctrl ou xdotool poderão fazer isso.
Por favor, veja: Como ocultar ou minimizar a janela do X11 a partir do console?