Existe um limite de tempo limite por motivos de segurança. Se você estivesse trabalhando e fizesse uma pausa, qualquer um que chegasse ao terminal teria acesso total ao sistema se não tivesse tempo. O tempo limite é de 15 minutos por padrão .
Você pode alterar o horário padrão editando a alteração da configuração com sudo visudo e adicionando uma configuração Defaults timestamp_timeout=# . O # é minutos. -1 significaria nenhum tempo limite.
Mais detalhes em: Timeout do RootSudo