Você pode fazer upload de uma nova chave, mas nunca pode excluir ou revogar uma chave existente. Se você pudesse fazer isso, você poderia criar uma chave em nome de outra pessoa e substituir sua chave.
Mas isso é IMHO um dos maiores problemas dos principais servidores: que eles estão acumulando mais e mais lixo ...