Se você usar rsync em vez de scp, poderá usar --exclude = bad.txt. ou seja,
rsync -av --exclude=bad.txt remote.host:/files/*.txt /local/folder
Como alternativa, você pode alterar seu comando scp para pegar os outros arquivos. ou seja, se você tiver text1 - test9 e não quiser test9 tente usar o teste [1-8] .txt. Embora o método rsync deva funcionar melhor.