Você pode usar um alias de host no arquivo sudoers para especificar IPs específicos ou intervalos de sub-rede, por exemplo:
Host_Alias MAIL = 10.0.0.0/255.255.255.0
Host_Alias FTP = 10.1.0.1, 10.2.0.1
alice MAIL = (ALL) NOPASSWD: ALL
bob FTP = (ALL) NOPASSWD: ALL