Parece-me que ambas as extensões e plug-ins são complementos. As extensões adicionam funcionalidade ao Firefox, enquanto plugins são mais para permitir que você toque tipos adicionais de mídia (como silverlight, flash, quicktime).
Firefox>Tools>Add-on
referencia estes três itens:
Quais são eles e qual é a relação ou diferenças entre eles?
Tags firefox plugins browser-addons