O Ubuntu não "formata aleatoriamente" as unidades, então você pode deixar sua pergunta um pouco menos dramática ...
Desconectar um dispositivo com um sistema de arquivos sem desmontá-lo é garantia de causar problemas mais cedo ou mais tarde, e se você estiver usando um sistema de arquivos FAT, ele não será facilmente "consertado" como o ext4 ou o NTFS o faria. Mas não sabemos qual é a causa exata do seu problema neste caso.
Pode ser útil procurar em seus arquivos de log (dmesg, syslog, etc.) para ver se há alguma mensagem de erro ao conectar o pen drive USB.
Se você vir erros de leitura, provavelmente algo está errado com o hardware, e você quer usar algo como ddrescue ou gddrescue para fazer uma imagem tão boa quanto possível do flash drive.
Se não houver erros de leitura, provavelmente é "apenas" o sistema de arquivos que foi corrompido. Você pode usar um simples dd
para criar uma imagem. Depois de fazer uma imagem de backup, você pode tentar consertar o sistema de arquivos com o fsck e ver se isso traz de volta todos os arquivos que você precisa.
Caso haja problemas de hardware, ou um simples fsck não resolva o problema, você pode tentar usar ferramentas como o photorec em uma imagem de disco (que pode recuperar não apenas arquivos gráficos, mas também muitos outros formatos de documentos).