Seu design contorna completamente todo o propósito da autenticação de dois fatores. Você tomou o fator "algo que você tem" e mudou para "algo que um monte de pessoas tem / compartilha".
O número de série ou identificador exclusivo do cartão inteligente não é transmitido para o servidor, portanto, ele não sabe qual cartão inteligente foi usado para autenticar, supondo que as credenciais nos cartões inteligentes sejam as mesmas.
Você pode auditar a inserção de cartões inteligentes no lado do cliente, o Gerenciador PnP (UserPnp, WudfUsbccidDrv, etc.) deve gravar alguns eventos exclusivos no log de eventos do cliente que contêm um número de série que provavelmente poderia ser usado para identificar exclusivamente qual cartão inteligente foi inserido no momento, mas você pode não ter controle sobre quais sistemas clientes seus usuários podem inserir seus cartões inteligentes.