Em vez de fazer downgrade para uma versão do Firefox não suportada, instale o User Agent Switcher add-on e defina o User Agent para o Firefox 3.5. Isso faz com que o site do seu banco acredite que você está usando o Firefox 3.5, mas mantém as vantagens de usar o Firefox 4.
É ridículo que o site do seu banco esteja forçando você a usar um navegador desatualizado. Se você realmente insistir em usar o Firefox 3.5, siga as instruções em Como instalar o Firefox 3.6 e 4.0+ em paralelo? , mas substitua firefox-4.0.tar.bz2
por um download de link (escolha um idioma à sua escolha)