Você pode iterar sobre cada arquivo no diretório e usar um navegador de linha de comando, como lynx ou w3m para renderizar o HTML em texto simples e salvá-lo em um arquivo de texto.
Exemplo de lince:
lynx -dump in.html > out.txt
exemplo do w3m:
w3m -dump in.html > out.txt