Tente adicionar isso às suas opções sudo :
Defaults timestamp_timeout=0, tty_tickets
A opção tty_tickets (ativada por padrão) fará sudo perguntar a senha se ela não tiver sido solicitada anteriormente nesse tty em particular (incluindo os emulators ptys do terminal), e a opção timestamp_timeout=0 fará com que ela não seja solicitada novamente sessão inteira.
Então, quando você quiser fazer algumas operações administrativas, você pode abrir o terminal, sudo algo, fechá-lo e você estará seguro novamente.