Será que o menu Firefox "Opções" / "Abas" / "Abrir links que abrem em uma nova janela:" "Nova aba" funciona para você?
Estou usando o Firefox 5 no Ubuntu 11.04 e no Windows 7 e em ambos os links abertos para nova guia, não para janela.
Se isso não ajudar, tente desinstalar o Firefox, excluindo todas as configurações em: \ Users \\ AppData \ Roaming \ Mozilla \ Firefox e, em seguida, instalando novamente.
Como funciona para outras pessoas, é possível que apenas algumas configurações antigas permaneçam no seu sistema. Lembre-se de fazer backups das configurações para que você possa voltar a elas se não ajudar.
Uma opção é instalar a extensão chamada "Tab Mix Plus". Ele substitui muito do comportamento padrão da manipulação da guia do Firefox e permite substituições que não estão presentes no FF vanilla.