Minha recomendação seria fazer backup de todos os nossos dados e reinstalar o Ubuntu usando o DVD alternativo e selecionar LVM Encryption. Isso irá criptografar todo o conteúdo de todas as partições que fazem parte do seu LVM. Você será solicitado a inserir sua frase-senha antes que o sistema seja inicializado, portanto, quando seu sistema estiver nesse estado, ele não estará mais criptografado.
Eu complementaria isso com o uso do TrueCrypt para criptografar o conteúdo enquanto o sistema é totalmente inicializado. Estou incluindo um link para um documento da comunidade do Ubuntu que descreve como instalá-lo e deve guiá-lo ao seu uso básico.
Então, por que estou recomendando duas soluções de criptografia?
Criptografia LVM - Isso protegerá seu sistema contra roubo se a máquina for perdida ou roubada enquanto estiver em um estado desligado.
TrueCrypt - Isso protegerá seus dados enquanto a máquina estiver ligada.
* Cuidado: Assim que você descriptografar qualquer um dos sistemas de arquivos montando-os, eles estarão nesse ponto em texto não criptografado. Não há como contornar isso e você ainda precisa exercitar boas práticas de segurança, como privilégios mínimos, senhas strongs, regras de firewall, etc. *
Documentação da Truecrypt Ubuntu Community
Como usar o sistema de arquivos encriptados Ubuntu LVM