Se você tiver a versão perl de rename (denominada prename em algumas distribuições):
find . -type f -mindepth 2 -name '*.jpg' -exec rename -n 's!/([^/]+)$!_$1!' {} +
Isso só mostrará o que o comando fará. Se você está feliz com isso, solte a opção -n para realmente renomear os arquivos (a renomeação atual não imprime nada).