Você pode desativar a autenticação de chave pública na linha de comando, o que faz com que o cliente não use nenhuma identidade definida:
ssh -o PubkeyAuthentication=no yourserver
A remoção de identidades já adicionadas não é possível na forma como o arquivo de configuração é feito.