Parece uma grande dor para mim. Eu não acho que você esteja realmente ganhando qualquer coisa em segurança, pois esses (a) só podem ser escritos como root, então é provável que o jogo acabe se alguém puder escrever para eles; (b) provavelmente carregar um monte de bibliotecas compartilhadas, que não estão sendo verificadas.
A página do sudoers diz que a opção "pode ser útil em situações em que o usuário que invoca o sudo tem acesso de gravação ao comando ou ao seu diretório pai". Não tenho certeza de quem pensou que a configuração seria uma boa ideia, ou quanto ao fato de sudo
fazer uma soma de verificação antes de executar sem uma condição de corrida.
Sugiro pesquisar um IDS baseado em host (por exemplo, samhain, tripwire, ...). Eles tentarão detectar e reportar rapidamente qualquer adulteração nos binários do sistema (incluindo bibliotecas compartilhadas), independentemente de alguém estar tentando sudo.