Uma abordagem alternativa é a instalação dos pacotes debian (embora essa abordagem não seja relacionada ao ppa)
Tenha em mente que, ao fazer isso fora do apt, o gerenciamento de instalação futuro está desordenado. Para ver o que isso afetaria, você pode executar
apt-cache rdepends openssh-client
e, em seguida, indo para a frente ao instalar um desses pacotes afetados, você provavelmente verá um erro sobre a falta da versão original do openssh-client. Pelo menos esse é o comportamento que eu observei durante a escrita de alguns scripts ansible (Inicialmente atualizei o último cliente do openssh nos scripts para contornar isso)
Na saída de erro nesse cenário, notei a saída sugerida para
apt-get -f install
sem especificar um pacote. Eu fiz isso, instalei alguns bits (que aparentemente não eram com o openssh-client), e de alguma forma futuras instalações que dependem do openssh-client agora vão bem sem reclamar sobre a dependência da versão corrigida.