O Ext4 é o sistema de arquivos padrão e suportado do Ubuntu. Se você for usar suas unidades apenas com o Ubuntu ou outros sistemas Linux, a resposta é sim: A melhor opção é formatá-las como ext4.
Mas você precisa ter em mente que alguns sistemas (como o Windows) não suportam o ext4 nativamente e você pode ter problemas se precisar instalar o Windows algum dia.