No nautilus você não pode esconder uma certa extensão de arquivo.
As extensões de arquivo podem enganar!
Mas escrevi um loop no shell para você:
for file in *.xxx; do mv $file .${file%%}; done
Isso ocultará todos os arquivos com a extensão .xxx em seu diretório de trabalho atual.