Geralmente, depende exatamente do que são os arquivos. Na prática, vi pessoas usarem /srv para dados do servidor, /var/www/html para arquivos acessíveis pela web e /usr/local como uma espécie de pega-tudo. Eu também vi muitos fornecedores usando /opt como sendo similares a C:\Program Files no Windows (ou seja, uma coleção de raízes de aplicativos de terceiros) que podem ter arquivos aos quais usuários não-root deveriam ter acesso.
Também não há nada de errado em criar um diretório diretamente abaixo da raiz (por exemplo, /accountingData , etc), desde que seja consistente entre os servidores.