ext4
Essa foi minha recomendação em 2012 e é o FS recomendado em 2017. Esse sistema de arquivos é muito maduro com suporte para criptografia (o Kernel recente é necessário a partir de 2017) e é rápido o suficiente para a maioria da carga de trabalho em um disco rígido externo mesmo SSDs externos), é também uma escolha muito segura em relação à segurança de dados. Esse é um fator importante, especialmente quando você tem um disco rígido externo, não é tão protegido quanto um interno.
Em um laptop, por exemplo, mesmo se a eletricidade estiver conectada, você ainda tem uma bateria, então a unidade interna já é bastante segura. No entanto, um disco rígido externo conectado pode ser propenso a desconexão, por exemplo: você se levanta com seu laptop enquanto se esquece da unidade conectada.
XFS
Fornece bom desempenho para muitas cargas de trabalho empresariais e, provavelmente, também para alguns desktops. Provavelmente, esses casos de borda não são visíveis em um disco rígido externo USB, podem ser visíveis com SSDs externos em uma interface USB3.1. Houve um risco maior do que com a desconexão ou perda de energia do que alguns dos arquivos serem truncados para 0 com o XFS, por muitos anos isso não deve ser um problema. O XFS é agora um sistema de arquivos robusto e rápido, mesmo no caso de perda de energia.
Você pode implementar a criptografia com o XFS se usar o LUKS, por exemplo. Mas eu não estou ciente de um suporte nativo dentro do XFS para criptografia.
BTRFS
Em 2012, afirmei "Em 1 ou 2 anos, eu recomendaria esse sistema de arquivos, pois ele suporta soma de verificação de dados e diário". Em 2017, posso dizer que este sistema de arquivos é bastante robusto, a menos que você queira usar seu suporte a RAID 5-6 (para isso você precisaria de um Kernel muito recente, então é melhor esperar pelo Ubuntu 18.04 LTS). Em um disco rígido externo, que é mais exposto que um disco rígido interno, o BTRFS seria uma solução muito strong com seu checksum nativo de dados e metadados. No entanto, se você tiver apenas um disco rígido externo, ele só poderá detectar dados corrompidos, mas não poderá repará-los, a menos que você o configure para armazenar 2 cópias de cada dado ou metadado na unidade. Em caso de perda de disco, você perde tudo, claro, então não é RAID1. Mas se você tiver um setor corrompido, o BTRFS poderá recuperá-lo se tiver uma cópia. O BTRFS suporta instantâneos, o que poderia ser uma boa adição para um sistema de backup.
Não é meu sistema de arquivos recomendado porque tem algumas peculiaridades, como entender corretamente o uso do disco e os problemas de espaço livre (especialmente se você usar a opção de compactação). No meu uso de BTRFS, eu também encontrei algumas vezes erro sem espaço deixado no dispositivo que requer algum equilíbrio, etc. Por isso ainda não é utilizável por um usuário iniciante.