Você verificou o GROUP atribuído aos arquivos enviados? É comum que o proprietário seja o "usuário" do servidor da Web, mas o grupo geralmente é algo que incluirá seu ID de usuário do shell. Você ainda teria esse problema com o FTP, mas seu servidor ficaria totalmente vulnerável a abusos.
Se você estiver no grupo, apenas verifique se os arquivos enviados estão recebendo as permissões corretas ao fazer o upload.
O Joomla, de fato, estará usando o PHP para fazer o upload, porque os arquivos enviados são locais para si mesmo, não precisa ou quer usar o SFTP ou qualquer outro mecanismo remoto. Tem sido um tempo desde que eu usei o Joomla, mas acho que se você vai para:
Site -> Global Configuration -> Server tab
No Joomla, você deve ser capaz de alterar as permissões padrão para uploads de arquivos.