Isso depende de quanto acesso você deu às pessoas que usam o sudo. Se você deu às pessoas privilégios suficientes para habilitá-las a usar o sudo de maneira irrestrita, você tem que confiar nelas.
Você pode negar explicitamente o acesso ao comando visudo
sudouser ALL=ALL, !/usr/sbin/visudo
então
$ sudo visudo
[sudo] password for sudouser:
Sorry, user sudouser is not allowed to execute '/usr/sbin/visudo' as root on host1.lan
no entanto isso não impede que pessoas, por exemplo, executem um shell e, em seguida, executem o visudo
sudo -s
visudo
Bingo!
A única outra solução é reduzir o alcance do acesso das pessoas via sudo. Para fazer isso você teria que analisar seus requisitos de privilégio e dar-lhes acesso via sudo para apenas os comandos que eles realmente precisam usando palavras-chave do comando , etc.