Se você estiver usando o bash como shell, essa é uma tarefa simples para um pipeline de shell.
ls | grep '\.out$' | while read file; do echo mv "$file" "${file%.*}"; done
ls produz uma lista de arquivos no diretório.
grep '\.out$' extrai os nomes dos arquivos que terminam em .out e descarta o restante.
while read file lê os nomes dos arquivos, um de cada vez.
echo mv "$file" "${file%.*}" exibe mas não executa um comando mv que renomeie cada arquivo para uma versão sem sua extensão. O ${file%.*} business é a sintaxe bash para remover uma extensão de arquivo. Quando estiver convencido de que o pipeline faria o que você queria se fosse executado de verdade, remova a parte echo e deixe-a rodar para valer.
ls | grep '\.out$' | while read file; do mv "$file" "${file%.*}"; done