Desative a autenticação do pubkey no cliente em que você não deseja usá-lo.
ssh -o PubkeyAuthentication=no your_host
ou no seu ~/.ssh/config
:
Host your_host
PubkeyAuthentication no
Se você quiser remover a chave pública do servidor, precisará remover a linha apropriada de ~/.ssh/authorized_keys
no servidor.