Talvez isso seja bom o suficiente para o seu caso de uso:
ls -1 -td /dir1/prefix1* /dir2/prefix2* | head -n 1
Ou mais robusto:
find /dir1 /dir2 -type f \( -path "*dir1/prefix1*" -o -path "*dir2/prefix2*" \) -printf '%T@ %p\n' | sort -n | tail -1 | cut -f2- -d" "