O mtime (tempo de modificação do arquivo) não deve mudar quando o dono é alterado (nem o atime nem o tempo de acesso). Isso seria uma mudança na informação do inode, refletida no campo ctime.
Se você achar que no seu sistema, chown(2) (ou chown(1) e chgrp(1) ) mudam o mtime ou o atime e você está preocupado em preservar o mtime e o atime, então você precisará escrever código para coletar os horários atuais (usando stat(2) ou stat(1) ) e restabelecê-los (usando utimes(2) ou touch(1) ).
AFAIK, você não pode controlar a configuração da hora. Se o inode mudar, o sistema registra o tempo que mudou e não permite que você mude isso.