Uma alternativa é fazer o backup em um sistema de arquivos em um contêiner criptografado, por exemplo, LVM com criptografia LUKS, 'disco criptografado'). Esta é uma opção de instalação do Ubuntu (acho que principalmente destinada a laptops).
Talvez esse link ajude você
help.ubuntu.com/community/ManualFullSystemEncryption
Editar: Você pode tentar usar o método fácil, basta instalar o Ubuntu com 'disco criptografado' na unidade externa. Você pode inicializá-lo em outro computador e executar o rsync através de uma rede local, mas também pode conectar a unidade diretamente, montar a partição com as credenciais corretas e usá-la diretamente.
Também é importante proteger fisicamente o backup contra incêndio ou roubo (por exemplo, mantendo uma unidade de backup em outra casa ou em um cofre seguro).