Desculpe, o mencionado anteriormente não é verdade. Eu era muito ingênuo para que as coisas funcionassem juntas.
No Filezilla, você precisa adicionar a chave usando Edit - > Preferences - > SFTP , como você fez. Ou certifique-se de que a chave esteja no seu ssh-agent antes de iniciar o filezilla ( ssh-add -l deve listar a chave).
Sua conta em Site Manager precisa ter o tipo de logon Normal com senha vazia e a chave deve ser tentada automaticamente.