Você pode
git config core.filemode false
para desativar esse recurso.
A ideia de rastrear o bit x é facilitar a vida das pessoas clonando o repositório, pois ele pode conter alguns scripts (como o configure) que precisam ser executáveis para a construção do projeto.
Em vez de apenas desativá-lo, por que não consertar o modo uma vez e mantê-lo da mesma forma?