Eu não acho que exista uma opção melhor do que um dispositivo USB. Você poderia usar um CD + uma unidade de CD USB, mas isso obviamente seria mais complicado.
Sobre a substituição acidental do pendrive: Há pendrives USB com um comutador de proteção contra gravação pyhsical - você pode usar um desses. Basta procurar por "usb stick write protect". Ou apenas coloque o pendrive em um envelope lacrado com um aviso de gordura "USB stick de recuperação - apenas para uso de emergência": -).