Recentemente tive esse mesmo problema no início deste ano. Eu iria zipar arquivos na minha partição NTFS e eles seriam 600 privilégios quando eu descompactá-los no servidor web. Eu não poderia mudar os privilégios também.
Acontece que o NTFS (e, no seu caso, o FAT32) é o problema. O Ubuntu traduz automaticamente todos os arquivos em qualquer formato como 600 (somente leitura / gravação do proprietário).
Eu consertei criando uma partição ext4 e copiando os arquivos lá. Então eu mudei todos os privilégios de pastas para 744 e arquivos para 644 para que eu pudesse usá-los no site.