Para os registros: eu tentei muitas coisas, incluindo a maioria das sugestões mencionadas aqui: link (especialmente a ferramenta otimizador) . Com absolutamente nenhum impacto.
Mas eu posso fazer dois testes com o speedtest.net, uma vez conectando a "Lausanne (Swiss Network)" e uma vez a "Schoenenwerd", ambos localizados na Suíça. Lausanne tem 16/2 e Schoenenwerd tem 0,6 / 4 (!!).
Então, minha conclusão é que depende de como alguém se conecta. Eu não tenho idéia se há alguma maneira de influenciar isso, mas tenho certeza que não está relacionado à minha máquina. Explicações ou sugestões ainda são bem vindas.