O XFS pode aceitar isso, mas será melhor se você planejar o seu uso. O acesso a esses dados (operações STAT e OPEN) será mais rápido se o SO tiver menos inodes para acessar os dados. Se você tiver menos de, digamos, 30K arquivos / diretórios em um determinado diretório, não precisa se preocupar com essa otimização.
Mas se você for maior, convém usar a opção -i size=512 para fornecer um tamanho maior de inode. Isso permitirá mais entradas de diretório por inode, para que o SO tenha que percorrer menos para percorrer uma árvore. Dada SSDs estes dias, isso vai melhorar as coisas menos do que nos dias de ferrugem fiação; mas é uma otimização a considerar.
Uma vez eu gerenciei um sistema de arquivos baseado em XFS que tinha mais de 20 milhões de arquivos, com uma média de tamanho de arquivo de cerca de 100KB. Eu projetei esse sistema de arquivos específico para lidar com mais de 100 milhões, e estava no caminho certo para chegar lá quando saí da empresa. Essa é a versão do sistema que descrevi aqui: O impacto de uma alta taxa de diretório para arquivo no XFS
O XFS é a melhor escolha para isso? Difícil de dizer. Mas confio mais que ext4 para grandes sistemas de arquivos como você descreve. As btrfs podem ser capazes de aceitá-la, mas a facção mais conservadora dos operadores de sistema não considera a produção pronta ainda.