Se você estiver usando o sudo para rastrear comandos, ele será registrado se você digitar a senha ou não.
Além disso, solicitar senha para cada invocação de sudo pode ser, no pior dos casos, um pequeno inconveniente ao gerenciar sites pequenos. Em sites grandes, pode não ser tão escalável. Nesses casos, uma pessoa usará scripts ou aplicativos no lado do cliente para armazenar a senha temporariamente ao executar o sudo. Nesse ponto, você agora tem o potencial de ter esse script ou aplicativo sendo explorado e as credenciais de login do usuário com direitos de superusuário roubados desse cliente.
Deixando isso de lado, o maior problema é que você realmente não precisa estar fazendo login no servidor, a menos que seja para manutenção. Caso contrário, você aumentará a probabilidade de que algum comando incorreto cause uma interrupção. Você pode precisar revisar suas atividades do dia-a-dia e automatizar onde for necessário, para que haja uma menor necessidade de login e executar comandos de superusuário (o que terá o benefício de reduzir as reclamações de ter que digitar a senha toda vez ).