No menu de configuração, defina browser.link.open_external
para 2.
EDIT: O método acima só funciona para as versões anteriores ao 3.5 do Firefox e para o SeaMonkey. Veja também: advanced.system.supportDDEExec
Transformar o Firefox em URLs abertas de aplicativos externos em novas abas
Bug 172962 - Opções para onde abrir URLs de outros aplicativos (guia reutilizar, nova aba, nova janela)