O modo de navegação anônima sempre será mais lento que o cromo comum. A principal razão para isso é que, quando no modo icognito, o navegador não armazena o cache.
Isso significa que cada vez que você visitar uma página, os arquivos css, javascript, imagens etc, todos terão que ser baixados novamente do servidor web, o que faz com que os sites carreguem um pouco mais lentamente, mas é brilhante para desenvolvedores como eu que odeiam perseguir um problema por uma hora apenas para perceber que o navegador está usando um arquivo em cache.