Eu normalmente faço algo como:
dir *.txt | select-string "keyword|regex"
Para um arquivo correspondente, isso mostra o nome do arquivo, o número da linha e o conteúdo da linha. Isso também é adequado para pipeline. Eu sugiro que você dê uma olhada em Select-string usando:
help Select-String -Detailed