Eu pesquisei essa questão em vários pontos ao longo dos anos, e devo dizer que estou chateado com a quantidade de "especialistas" que nem sequer abordam a questão, mas sim como uma oportunidade de mostrar o que eles acho que eles sabem.
Eu só posso te contar minha própria experiência, sem nenhum jargão nerd. Eu descobri que sim, ter muitos marcadores diminui a sua experiência de navegação de forma bastante perceptível. Eu uso o Firefox e o Chrome, e limpo meu registro pelo menos um por semana com o Glary Utilities.
Eu também sou uma espécie de colecionador de favoritos. Muitas vezes, se uma página é interessante para mim, eu a salvei como um marcador, provavelmente acrescentando dezenas por semana, às vezes apenas porque sou preguiçoso e quero voltar a essa página.
Depois de obter cerca de 100 marcadores, percebo que meu navegador começa a ficar muito desajeitado. Então, eu vou para os meus favoritos, salve-os em formato HTML em uma pasta no meu computador e excluo quase todos eles do navegador, deixando apenas os principais que eu visito, cerca de 10-15 marcadores.
E BINGO, meu navegador é rápido e limpo novamente. Eu acabo fazendo isso a cada seis meses.
Então, resposta curta: SIM.