Ele está dando 12, já que conta <li> como 4, já que é seu comprimento, então, para corrigir isso, simplesmente use:
=LEN(A2)-LEN(SUBSTITUTE(A2,"<li>",""))/4
Ou eu prefiro usar SUMPRODUCT :
=SUMPRODUCT(LEN(A2)-LEN(SUBSTITUTE(A2,"<li>","")))/4