Leia a página chmod(1)
man.
640
significa rw-r-----
, que é: proprietário pode ler / escrever (primeiro trio), usuários do grupo que possui o arquivo (segundo trio) podem ler, qualquer outra pessoa pode não fazer nada.
Para alterá-lo para 644
(todos podem ler, o usuário proprietário pode escrever) você adiciona permissões de leitura para outras pessoas:
$ chmod o+w file
ou definir explicitamente via:
$ chmod 644 file
ou
$ chmod a=r,u+w
Dito isso, verifique se você está alterando as permissões de um diretório ou arquivo (isso não está claro na sua pergunta). O importante aqui é que remover a permissão executável de um diretório torna-a não-passível de varredura - ou seja, aqueles que não têm direitos executáveis para um diretório não podem alterá-la (nem ler os arquivos dentro dela).