É uma prática recomendada ter o proprietário como a conta de usuário limitada usada para fazer upload / gerenciar os arquivos no servidor. O grupo é frequentemente a conta em que o php está sendo executado, portanto, nesse caso, o apache estaria correto. As outras permissões devem ser definidas como nada, como estão. Você está perto da perfeição.
Se você tiver uma situação em que várias contas possam estar modificando / editando os arquivos, você poderá criar um script cron que faça chover a dir de maneira recursiva a cada hora, para manter a propriedade correta. A mesma técnica funciona para manter as permissões corretas também.
Além disso, você pode querer modificar o umask da conta de usuário limitada que tem propriedade para estar alinhada com o seu esquema de permissão.