+1 para a pergunta que afeta muitos de nós. Eu só posso dizer o seguinte:
Mesmo com a tecnologia e as medidas de segurança de hoje, sempre haverá uma maneira de contorná-las, seja uma tarefa fácil ou uma tarefa quase impossível. No final, eles podem ser feitos (Veja no google coisas como wikileaks, vazamento de informações, etc.). Com isso em mente, acrescentarei que ter uma conexão SSL (Secure Socket Layer, embora eu esteja supondo que um TLS 1.x será usado) é muito seguro. Ainda mais no Ubuntu (ou qualquer outro Linux Distro), uma vez que, não só os padrões são aplicados, mas eles também são atualizados mais rapidamente e com novas medidas de segurança.
Adicione a isso que você estará usando uma VPN que lhe dará ainda mais segurança.
Tendo isso, além de um sistema operacional seguro como o Ubuntu (muito seguro já que você carrega de um Live USB, que é como um PSL de nível de segurança paranóico) oferece uma medida de segurança ENORME sobre o PC que você usaria. É claro que a única desvantagem é a conexão com o local que você estaria conectando e a conexão com ele.
Você pode ter um sistema muito seguro, mas se a conexão com a outra extremidade for comprometida, isso diminui sua segurança. Diminui ainda mais se o local onde você está se conectando já foi comprometido.
Então, pelo que eu posso ler da sua pergunta, as duas únicas coisas que sobraram para pensar seriam:
- Estou me conectando a um site seguro?
- A conexão que estou usando é segura (como alguém capturando pacotes como um louco)
- Eu tenho alguém atrás de mim com uma arma?
Essas são perguntas que podem ajudar você a ter uma maneira mais segura de se conectar. Agora, uma boa pergunta é:
- Preciso de muita segurança só para verificar a minha conta bancária que detém 100 $?
- Eu sou Bruce Wayne que preciso de muita segurança?
Eu posso dar um exemplo do meu pai que usa o Ubuntu + Firefox para se conectar ao Bank of America e outros 3 bancos. Ele paga todas as contas, faz transferências, paga cartão de crédito, etc. Isto é como 3 anos atrás (Desde que ele tem Ubuntu ^^).