É verdade que os dados do arquivo são "simples" na unidade de disco real. A maioria das unidades de disco modernas tem "LBA" (Logical Block Addressing), o que significa que, mesmo para o kernel, um disco é uma grande linha de blocos. Os blocos que contêm os dados de um arquivo podem ser interrompidos, porque os inodes, etc, são espaçados em toda a linha de blocos de disco. Então, "flat" é um pouco enganador como uma descrição.
Também é verdade que a parte "hierarquia" é apenas uma ficção: pastas (melhor referidas como "diretórios") e seus membros obtêm arranjos do kernel "tornando isso" lendo nomes de arquivos e números de inode correspondentes de dados de um diretório.
Mas um arranjo hierárquico de dados é bastante útil. Já em 1991, as pessoas estavam discutindo sobre isso e sendo refutadas profundamente. Veja O Sistema de Arquivos Pertence ao Kernel de Brent Welch para um melhor argumento do que eu posso compor.
Eu também me sinto compelido a notar que a Microsoft embarcou em um sistema de arquivos como banco de dados pelo menos duas vezes nos últimos 20 anos, e abandou os dois vezes, mas talvez eu seja interpretar o que o Google diz incorretamente.