Se você estiver usando o bash como shell, essa é uma tarefa simples para um pipeline de shell.
ls | grep '\.out$' | while read file; do echo mv "$file" "${file%.*}"; done
ls
produz uma lista de arquivos no diretório.
grep '\.out$'
extrai os nomes dos arquivos que terminam em .out e descarta o restante.
while read file
lê os nomes dos arquivos, um de cada vez.
echo mv "$file" "${file%.*}"
exibe mas não executa um comando mv que renomeie cada arquivo para uma versão sem sua extensão. O ${file%.*}
business é a sintaxe bash para remover uma extensão de arquivo. Quando estiver convencido de que o pipeline faria o que você queria se fosse executado de verdade, remova a parte echo
e deixe-a rodar para valer.
ls | grep '\.out$' | while read file; do mv "$file" "${file%.*}"; done