Websites com maior demanda ou maior.
Qualquer disco pode lidar com alguns MB / s, o que superará a maioria das conexões de banda larga, por isso mesmo arquivos grandes não afetariam um servidor com HDD, mas servir arquivos diferentes para vários usuários simultâneos (mesmo pequenos) seria o pior cenário de caso para um disco rígido, uma vez que a velocidade de leitura seria desperdiçada indo e voltando entre os arquivos.
No entanto, você pode melhorar isso em um servidor HDD fazendo cache de RAM (em imagens modernas do Linux, o SO faz o cache de RAM dos arquivos usados recentemente automaticamente), então é possível que você não tenha muito melhor experiência de navegação.
Tente monitorar a atividade do disco em seu servidor e verifique se ela possui E / S grande.
OBSERVAÇÃO: iniciar um serviço no servidor seria muito melhor se você empregasse um SSD, portanto, esperaria tempos de inatividade menores durante atualizações ou manutenção.