Isso deve ser suficiente:
grep '^>.*</li>$' input-file
Os ^ e $ garantem que essas partes estejam ancoradas no início e no final das linhas, respectivamente.
Você também pode fazer:
grep -x '>.*</li>' input-file
-x procura uma correspondência exata: a linha inteira deve corresponder ao padrão (o que significa que ^ e $ estão agrupados em torno do padrão).