Sim, acabei de encontrar a solução no manual!
Você deve usar a opção -P.
Ótimo!
Como fazer com que o exiftool não altere a data e a hora dos arquivos afetados?
Não quero dizer a data e a hora escritas em EXIF, quero dizer, a data e a hora do arquivo em si.