A coisa básica que você precisa entender sobre VPNs é que ele está roteando sua conexão de internet pelo local ao qual sua VPN está conectada. Como se eu estivesse usando uma VPN do meu escritório configurada para se conectar à minha conexão doméstica, minha conexão à Internet está sendo encaminhada pela minha casa. Assim, as informações que eu envio são enviadas pela primeira vez para minha casa e, em seguida, enviadas e vice-versa para downloads. Embora essas informações sejam transferidas entre minha casa e o escritório, elas são criptografadas pelo protocolo VPN que você está usando.
Como você mencionou que está tentando proteger seu anonimato on-line, presumo que esteja usando o openVPN para se conectar a uma VPN desconhecida que não pertence a você. Se esse for o caso, e se a VPN à qual você está se conectando estiver mantendo os registros, tanto seu anonimato quanto seus dados bancários não são seguros. Tudo o que alguém precisa fazer é acessar esses registros e obter informações sobre IP e seus dados bancários. Manter o sistema operacional em um pendrive não afetará isso.
Se o anonimato é o seu objetivo principal, sugiro usar o tor. Você não precisa se preocupar com os logs que o nó de saída pode estar mantendo, já que sua conexão é retornada várias vezes antes de atingir o nó de saída.
E a netbanking através de uma VPN que você não possui é uma má ideia, como você já deve ter percebido.
Você pode fazer o que eu faço. Use uma VPN para streaming de vídeos e para todo o resto. Para netbanking, desligue tudo e use sua conexão regular.