Se eu fosse você, deixaria o dispositivo USB de leitura / gravação (como isso faz muito sentido), mas eu definiria as partições da sua máquina como somente leitura. Se você bloquear X o suficiente (impedir que alguém abra um shell via xterm, por exemplo), então deve ser fácil.
Algumas notas: montar / var como um disco ram? use noexec para evitar a exeção de binários
Pode ser mais fácil apenas chroot executar o navegador, com o stick USB montado sob a prisão chrooted.