Ele está dando 12, já que conta <li>
como 4, já que é seu comprimento, então, para corrigir isso, simplesmente use:
=LEN(A2)-LEN(SUBSTITUTE(A2,"<li>",""))/4
Ou eu prefiro usar SUMPRODUCT
:
=SUMPRODUCT(LEN(A2)-LEN(SUBSTITUTE(A2,"<li>","")))/4