Acho que o que isso significa é que, se mais solicitações chegarem o número de conexões keep-alive disponíveis, então um novo ainda seria aberto.
Além disso, observe a frase anterior àquela que você cita no link :
The connections parameter sets the maximum number of idle keepalive connections to upstream servers that are preserved in the cache of each worker process. When this number is exceeded, the least recently used connections are closed.
Observe a parte "cada processo de trabalho". Eu imagino que se uma conexão (com uma nova solicitação de cliente) chegar a um processo de trabalho que já passou do número de conexões keepalive com um determinado servidor, ainda assim uma nova seria aberta, mesmo que algum outro funcionário os processos ainda têm algumas de suas conexões keepalive com o mesmo servidor upstream ainda ocioso.
Se você precisar de mais detalhes, provavelmente valerá a pena pesquisar em ngx_http_upstream_keepalive_module.c
.