Os módulos PAM são empilháveis. É muito fácil configurar a autenticação para que, se um módulo falhar, ele volte a pedir uma senha. Então não vejo razão para você não usar pam_usb
(como sugerido no tópico Fóruns do Ubuntu).
auth sufficient pam_usb.so
@include common-auth
(Observe sufficient
em oposição a required
)