Clicar com o botão direito do mouse em um favorito deve abrir um menu de contexto. Quando você apertar a tecla Delete no menu de contexto, não fará nada.
Então, clique no item Excluir no menu pop-up ou pressione a tecla de atalho associada, que provavelmente é "D".