No GNU / qualquer coisa,
ls -l --time-style=+%s \
| awk '{$6 = int($6/86400); print}' \
| sort -nk6,6 -nrk5,5 \
| sort -sunk6,6
Isso fará com que você fique com os limites UTC, adicione seu deslocamento de horário local ao calcário, conforme necessário, por exemplo, int (($ 6-7 * 3600) / 86400) para -0700 limites da meia-noite.