A sugestão de Ignacio me fez pensar. Se o ssh-agent pode estar armazenando em cache minha chave privada (o que foi provado não ser o caso), o que mais poderia ser? O culpado, claro, era o daemon gnome-keyring. Pode haver uma maneira mais elegante, mas esmagá-lo com um martelo é bom (mate -9). Agora tentando autenticação RSA sem uma chave privada em existência falha conforme o esperado.