A conseqüência para o usuário final é simplesmente que, uma vez que o servidor atinja o limite de processos / threads / conexões simultâneos, ele não aceitará mais conexões até que outro usuário pare.
EDITAR: como o syccbean apontou nos comentários, eles irão inicialmente receber uma resposta atrasada, já que o servidor tem uma fila de espera de lista de pendências. Não é até que a fila esteja cheia que eles terão a conexão recusada. Em qualquer caso, o resultado é que eles receberão uma resposta mais lenta ou nenhuma resposta.
Como regra geral, você deve descobrir quantos usuários simultâneos você costuma ter nos períodos de pico e certificar-se de que seu servidor possa lidar com pelo menos o dobro disso. E você precisa revisitar essas estatísticas regularmente e alterar suas configurações se os padrões de seus visitantes tiverem mudado.
Sugiro a leitura de Como você realiza testes de carga e planejamento de capacidade para sites da Web? para obter mais informações sobre isso.