FINDSTR interpretará a string de busca como uma expressão regular se ela contiver um metacaractere regex sem escape (o *
no seu caso). A opção /L
irá forçá-lo a usar uma interpretação literal de string.
for /f "eol=: delims=" %%F in ('findstr /ml "ST*823" *.txt') do del "%%F"