Bem, os add-ons do Firefox estão contidos em arquivos .XPI, que são na verdade arquivos ZIP, contendo um monte de Javascript, CSS, imagens, HTML, ... e outros arquivos de suporte.
Eu vejo duas formas de detectar complementos maliciosos:
- as empresas antivírus modificam seu software para que digitalizem dentro dos arquivos XPI e usem assinaturas para identificar complementos nocivos
- O Mozilla implementa um sistema de "lista negra" para extensões, atualiza com frequência e informa aos usuários que a extensão foi desativada por motivos de segurança.
O número 2 está em vigor, eles o usaram para desabilitar algumas extensões, incluindo uma extensão Microsoft .Net que foi reativada posteriormente.
Acho que agora está do lado da Mozilla para evitar que maus complementos causem problemas aos usuários e má reputação para o Firefox.
As verificações antivírus heurísticas provavelmente não funcionariam, pois elas procurariam código que modificasse os recursos do navegador ... e é exatamente para isso que os complementos foram feitos!