Até certo ponto, é mais seguro. Mas os cartões SD estão se transformando mais em usb todos os dias.
Os cartões SD ainda estarão vulneráveis a vírus e um usuário clicar no programa para iniciá-los. Eu não os vejo sendo usados como escondidos (dispositivos de interface humana) ainda, então você deve estar seguro a esse respeito.
Dito isto, qual é o seu potencial vector de ataque? Você está compartilhando os cartões SD ou drives flash USB com outras pessoas (estranhos ou pessoas conhecidas)? Se você é o único usuário e manterá o controle completo dos flash drives, então eu não me preocuparia com isso.