"Seguro" é sempre relativo. Você está seguro de coisas bagunçando seu sistema operacional. Mas você não está seguro de todo o resto:
- certificados SSL maliciosos
- "man in the middle" ataca
- keylogger de hardware
- hacking social
- hacks que aconteceram durante sua sessão pelo restante do tempo de atividade do seu sistema ao vivo ...
Em teoria, pode-se montar suas partições e armazenar dados nelas. Mas esses dados teriam que ser lidos novamente após a próxima reinicialização, o que exigiria uma invasão diferente.
Existem alguns hacks que se escrevem no registro mestre de inicialização (MBR) de seus discos rígidos, o que significa que o ataque começa antes que o sistema operacional seja iniciado. Com um CD, isso deveria ser impossível. Com o pendrive, não tenho muita certeza.
Então você está mais seguro do que antes, mas não está "seguro" em um sentido absoluto.