Gere um par de chaves em sua máquina local para userX (ssh-keygen), ssh para o servidor remoto e adicione a chave pública à lista de chaves autorizadas. Em seguida, sudo no arquivo de configuração ssh, e descomente a autenticação de chave pública, conforme permitido. Não deve perguntar sobre senha então.
Tente não se bloquear. Leia alguns documentos primeiro se não tiver certeza.