Tente usar a pesquisa / substituição do Excel com curingas. Você pode usar * para corresponder a qualquer string (incluindo string vazia) ou? para corresponder a um único caractere.
Então, usando:
Find what: <*>
Replace with: leave blank
removerá tags HTML do conteúdo da sua célula.