Acho que você está apontando para isso na página man:
When the owner or group of an executable file are changed by an unprivileged user the S_ISUID and S_ISGID mode bits are cleared.
Então, por que eles estão limpos agora? Você vê que eles são limpos apenas no caso de um arquivo executável . Porque quando um dos bits (SUID / SGID) é definido, o usuário sem privilégios pode executar o arquivo como o novo proprietário do arquivo. Isso seria uma enorme falha de segurança.