Para os dados de origem na lista A: D (linha 1 - cabeçalho), horas (com dados) na coluna F, use a próxima fórmula em G1:
=COUNTIFS($A:$A,"<" & F1,$B:$B,">" & F1)
Arraste-o para baixo na lista de data e hora.
A fórmula conta a quantidade de usuários registrados sobrepostos para cada valor de data / hora (ponto). Para contar a sobreposição parcial acima do intervalo, você pode editar a fórmula (e, talvez, adicionar mais uma coluna à lista de data e hora, de até).