Sim, é possível, de muitas maneiras, mas algumas das maneiras são menos seguras que outras. Existem dois métodos que recomendo para isso.
A primeira e mais fácil maneira é usar o sudo com a opção nopassword, verifique a página sudo para detalhes.
A segunda maneira (e mais segura) é usar o pam (módulos de autenticação plugáveis) com um token físico. Isso é mais complicado, mas quando feito corretamente, é bastante seguro.