Eu concordaria com isso, supondo que a coluna inteira seja um valor de data.
=SUMPRODUCT((HOUR(A1:A10)>=17)*(HOUR(A1:A10)<=18))
Se você precisar excluir 17:00 e 18:00,
=SUMPRODUCT((60*HOUR(A1:A10)+MINUTE(A1:A10)>1020)*(60*HOUR(A1:A10)+MINUTE(A1:A10)<1080))