A segurança do TrueCrypt é contra o "vazamento" de dados, não contra sua perda.
Para proteção contra perda, você deve fazer o backup do arquivo ou usar o controle de acesso padrão baseado em SO. O último não é realmente uma opção no drive externo - então sua melhor aposta é uma cópia de backup (normalmente na máquina onde você criou o 'crypt' em primeiro lugar).