Dê uma olhada na opção tty_tickets
Da página do manual
tty_tickets
If set, users must authenticate on a per-tty basis. With this flag enabled, sudo will >use a file named for the tty the user is logged in on in the user's time stamp directory. If >disabled, the time stamp of the directory is used instead. This flag is on by default
Para desabilitar esse conjunto de comportamentos
Defaults ! tty_tickets
no seu arquivo sudoers
.