OK, achei depois de tudo.
Você não precisa editar o arquivo /etc/pam.d/common-auth , mas o arquivo em /usr/share/pam-configs/usb para que seja dito como exclusivo.
O Debian Wiki tem algumas informações muito boas sobre o assunto.
É possível somente usar o pamusb para fazer login (no xfce / lightdm) e não ter uma senha?
Quando tento alterar o pamusb para obrigatório em /etc/pam.d/common-auth e comento a senha, recebo "Authentication Failed" na tela de login, mesmo antes de fazer qualquer coisa.
Ajuda apreciado!
OK, achei depois de tudo.
Você não precisa editar o arquivo /etc/pam.d/common-auth , mas o arquivo em /usr/share/pam-configs/usb para que seja dito como exclusivo.
O Debian Wiki tem algumas informações muito boas sobre o assunto.