Use rm * dentro do diretório específico. O * é um curinga que corresponde a todos os arquivos.
Não removerá subdiretórios ou arquivos dentro deles. Se você quiser também, use rm -r * .
Mas tenha cuidado! rm exclui, não é movido para o lixo!
Para ter certeza de excluir os arquivos corretos, você pode usar o modo interativo e solicitar confirmação em todos os arquivos com rm -i *