Você não referenciou o " dir " da sua linha for na sua linha do , de modo que o bash não sabe onde procurar os arquivos *.json que estão em "$dir"
Você pode simplificar apenas combinando os arquivos:
for jsonfile in /data/Mydata/*/*.json ;
do
mongoimport --db MyApp --collection logs --file "$jsonfile" --type json
done;
E obrigado @terdon por corrigir isso para que você não precise analisar ls, o que é uma idéia muito ruim - evitar que no futuro!