NOTA: Estou usando o Firefox 40.0.3 aqui.
Acredito que a opção relevante é places.history.expiration.max_pages . Não existe por padrão, então você terá que ir para about: config e criá-lo.
Depois de criá-lo e configurá-lo, verifique o valor de places.history.expiration.transient_current_max_pages - ele deve se ajustar automaticamente para corresponder à sua configuração de .max_pages . Se este for o caso, significa que você definiu .max_pages corretamente.
Resultados:
(agora no Firefox 52.0.2)
Estamos em 2017 e desde que escrevi essa resposta, parece que não perdi nenhuma história. Minhas entradas de histórico mais antigas (de 2013) ainda estão lá. Tenho mais de 100.000 páginas na história e meu "places.sqlite" é de 71 MB.
Detalhes técnicos:
A função relevante é PEX__loadPrefs() em nsPlacesExpiration.js . Ele tenta determinar o limite primeiro verificando PREF_MAX_URIS (que é "max_pages" ). Se PREF_MAX_URIS não estiver definido ou for um valor negativo, ele tentará calcular o "tamanho ideal do banco de dados" com base na memória disponível e no espaço em disco. Então, parece que a configuração places.history.expiration.max_pages substitui toda essa lógica.
Se você quiser que ele retenha todo o histórico (histórico 'infinito'), você pode tentar configurar max_pages para 2147483647 (o maior inteiro assinado de 32 bits). Eu não testei isso sozinho, mas o banco de dados provavelmente seria esmagado sob seu próprio peso antes de atingir esse limite.