Você pode atribuir este comando abaixo a um atalho personalizado, ele sempre tentará abrir uma nova aba em uma janela do Firefox já aberta, se possível:
firefox -new-tab about:newtab
Veja Como posso alterar as teclas do meu teclado? (Como posso criar comandos / atalhos de teclado personalizados?) (especialmente esta resposta para um método de GUI) se você não sabe como definir atalhos personalizados.