se você tiver um nome de arquivo em uma variável: file=photo.jpg
Você pode obter a extensão assim: ext=${file##*.}
Isso remove, desde o início da sequência, todos os caracteres até e incluindo o ponto último :
$ echo $ext
jpg
Veja link