Experimente uma destas extensões:
O primeiro usa o antigo ícone do Firefox 3, o segundo usa um novo estilo, que se ajusta melhor ao novo visual desde o Firefox 4, mas é buggy.
O Firefox costumava ter um ícone rss dentro da caixa de URL.
Agora, só posso encontrá-lo como um botão que posso adicionar à barra de ferramentas, que é muito grande para algo que será desativado na maioria das vezes.
Existe uma maneira de fazer funcionar como antes? Quero que apareça somente quando o site atual tiver um RSS Feed.
Não há necessidade de um complemento. Basta usar a função de personalização para a barra de ferramentas - o ícone ainda está lá.