A velocidade da Internet é a taxa na qual você pode transferir dados pela Internet. Como Jonas Wielicki escreveu em sua resposta, isso não deve ser afetado pela velocidade da CPU, pelo menos não de uma maneira perceptível.
A experiência do usuário será afetada, porque ao navegar pela World Wide Web (que não é o mesmo que a Internet - o primeiro significa sites, o último é uma rede global usada para transmiti-los, mas também para enviar outros dados - transferências de arquivos, chamadas do Skype, etc.) os tempos reais de exibição são mais importantes do que a velocidade de download.
Conexões rápidas com a Internet (via Wi-Fi ou conexões de celular) estão amplamente disponíveis atualmente e as velocidades de download para a maioria dos sites não são tão importantes. Aqui está uma captura de tela do criador de perfil do Chrome mostrando a divisão do tempo de carregamento do SuperUser no meu hardware e conexão atuais:
Comovocêpodever,ocarregamentolevaapenas67milissegundos,enquantorenderização,pintura,execuçãodescriptseoutrasmisteriosastarefassomamumsegundo.Odownloadfazapenasumafraçãodotempodecarregamentocompleto,comoclaramentevisívelnográficodepizza.Outrasetapasdaexibiçãodeumsitedependemmuitodohardware,portanto,aCPUseráimportanteduranteanavegação.
Portanto,ohardwareéimportantesevocêforusaressedispositivoparanavegarnaWWW.NãoháCPUmóvelquesejadefinitivamente"rápida o suficiente". Quanto maior a frequência, melhor será o desempenho. Número de núcleos também é importante. Outros fatores podem limitar a CPU, como a quantidade de RAM, sua velocidade, a velocidade da memória de armazenamento, a versão do sistema operacional e as modificações aplicadas pelo fabricante.