Sua velocidade de carregamento de imagem é baseada na largura de banda, supondo que a máquina não esteja terrivelmente sobrecarregada, o que é uma possibilidade em um ambiente compartilhado (mas isso deve ser irregular, às vezes rápido, às vezes lento).
Se você tiver dito um upload de tubo de 2MB do seu servidor como parte de seu plano de hospedagem, bem 500kb * 8 bits por byte = 4mb, o que significa que cada imagem demora 2 segundos para ser transferida. Com imagens grandes ... a transferência pode demorar um pouco, e isso se apenas um usuário estiver obtendo arquivos de cada vez. Você sabe qual é a sua largura de banda e onde o servidor está localizado?
Com base na sua descrição, eu apostaria que sua largura de banda de saída não é tão alta, e é por isso que a transferência de qualquer quantidade decente de dados será mais lenta do que você gostaria.
Como uma nota secundária: para referência: as imagens desse site têm de 100 a 240kb, a maioria na parte inferior disso.