O GNU find por padrão usa expressões regulares do emacs, você pode mudar esse tipo com a opção -regextype (veja man find).
Se você usa -regextype posix-egrep , sua expressão parece funcionar. Você poderia então também reduzir o padrão para ^.+(jpg|gif|exe)$
Com o emacs: find . -regex '.+\(jpg\|gif\|exe\)$' . Consulte esta seção do manual do emacs para ver as regras regex específicas. Você precisa escapar de | e () para que não sejam literais.