Não há virusses ativos para sistemas Linux e eu ficaria mais preocupado com rootkits se eu fosse paranoico.
Qualquer coisa que não esteja formatada como EXT não pode mexer com seu sistema, a menos que seja um sistema operacional que esteja no dispositivo e você permita que ele mexa com seu sistema (ou seja, você insere seu administrador senha e deixe executar um arquivo). Outros lugares além do seu / home / $ USER / precisarão principalmente da sua senha de administrador para fazer qualquer coisa.
Além disso: o automount não funciona, a menos que você configure o sistema para automount. Isso exigiria uma regra do udev para SD.
Se o SD ou USB for formatado com NTFS, você precisará de um sistema Windows para que qualquer vírus do Windows seja prejudicial.
Então, não, um Ubuntu normal não permite isso. Isso exigiria mais esforço de sua parte (como fornecer sua conta de administrador quando você não espera que precise ser perguntado) para um SD ou USB se tornar prejudicial. E eu diria que um esforço extra definiria todos os alarmes que você precisa para parar e começar a pensar.
E ainda por cima: -unmounted- nada pode prejudicá-lo.