Ter uma senha no sudo não é apenas sobre autenticação, mas também uma interrupção para autorizar solicitações.
Se você copiar e colar em um script que contenha sudo rm -rf /
passwordless, o sudo não o ajudará.
Há também a possibilidade de que um usuário em potencial se torne um alvo para escalonamento de privilégios por outro usuário, se o usuário mal-intencionado puder se tornar, de alguma forma, o usuário confiável que tem acesso sudo sem senha; digamos que o usuário confiável tenha um trabalho cron inócuo que execute um script para o qual o usuário mal intencionado tenha privilégios de gravação e ele altere o script para fazer outra coisa.
Isso pode não ser uma preocupação para você, mas observe que o prompt de senha impede que certos vetores de ataque se tornem realidade.