Isso ocorre porque o Firefox usa algum tipo de mecanismo de bloqueio para que apenas um processo do Firefox possa acessar cada perfil, e acho que é para evitar corrupção nos bancos de dados sqlite (locais, marcadores, histórico, etc.).
Se você iniciar o Firefox com -no-remote , ele reivindica acesso exclusivo ao perfil ("padrão" no seu caso) e nenhum outro processo do Firefox pode usá-lo, mesmo se a segunda instância for invocado sem o -no-remote.
Você pode, é claro, usar Ctrl + N ou Arquivo > Nova janela para criar uma nova janela no Firefox.
A maneira correta é rodar o Firefox 4 com -no-remote, e invocar suas instâncias Fx3.6 sem esse flag.