Desative a autenticação do pubkey no cliente em que você não deseja usá-lo.
ssh -o PubkeyAuthentication=no your_host
ou no seu ~/.ssh/config :
Host your_host
PubkeyAuthentication no
Se você quiser remover a chave pública do servidor, precisará remover a linha apropriada de ~/.ssh/authorized_keys no servidor.