Você pode tentar tornar a ID da placa permanente:
options snd-usb-audio index=2 vid=0x1234 pid=0x5678
(Se você tem outros dispositivos de áudio USB, você tem que adicione mais opções para garantir que os outros dispositivos não ocupem o índice de cartão 2 primeiro.