Isso é um pouco inofensivo, porque se você tiver acesso físico à máquina para poder inicializar no console de recuperação, poderá fazer o que quiser de qualquer maneira. Você poderia simplesmente puxar o plugue e roubar o disco rígido e montá-lo em outro computador, fazer o que quiser com qualquer um dos arquivos.
Mesmo se você tiver apenas acesso "não físico, virtualmente físico", como via KVM-over-IP ou como eles são chamados, você ainda pode inicializar qualquer outro sistema e montar o disco e envie os dados pela rede ou faça o que quiser.
O que leva à solução: Se você quiser evitar que alguém faça algo assim, use um sistema de arquivos criptografado como o Truecrypt ou similar (ou, pelo menos, use uma pasta pessoal criptografada, que o Ubuntu suporta imediatamente) e que deve ser suficiente).