Bem, antes de tudo, isso dependeria da solicitação dos arquivos. Se o cache do navegador ainda estiver na memória, você não precisaria nem mesmo procurar no disco. Se estiver no disco, o tempo de acesso aleatório para cada arquivo individualmente (tempo de busca) será, em média, o mesmo, mas ainda assim será mais rápido do que fazer uma solicitação do servidor (o próprio servidor pode precisar procurar em seu próprio disco alguns arquivos, por exemplo).
Agora um SSD aumentará o desempenho, sim, ele lhe dará um impulso relativamente considerável, já que os SSDs têm uma latência de acesso muito baixa.