Você precisa do ssh para o usuário que tem acesso ao repositório git. Se você estiver ssh-ing para root, certifique-se de que root tenha pelo menos direito de leitura (se você estiver usando uma versão inteligente do git, como gitolite, gitlab e assim por diante).
BTW, se você está tentando liberar isso, use git fetch && git reset --hard origin/master
em vez de git pull. Git pull faz mesclagem e pode terminar com conflitos, git reset apenas move o ponteiro real para commit diferente sem mesclar nada.