Eu diria que não há resposta universal para isso .
What’s a good server response time?
É o tempo que seus usuários estão prontos para aguardar sem atrapalhar seu trabalho diário.
Como parece que você está falando de um site público e não de um aplicativo Web privado, alguns estudos foram publicados:
47% of people expect a web page to load in two seconds or less.
40% will abandon a web page if it takes more than three seconds to load.
Você pode encontrar mais referências aqui:
Basicamente, os usuários da Internet ou usuários de Web Apps são impacientes: isso é da natureza humana. Mais velocidade, mais ganho! Por que você acha que os ISPs estão no caminho para fornecer mais e mais velocidade?