Permissões no linux (que é o que eu suponho que você está usando) estão na ordem:
uuu|ggg|ooo
rwx|rwx|rwx
U sendo usuário, o proprietário do arquivo. Sendo o acesso de grupo para um grupo específico, e O é outro.
Se os usuários não estiverem em um grupo que possa acessá-lo e eles não forem os proprietários do diretório, eles ficarão na categoria outros, portanto, você só precisará modificar os três últimos campos.
maneira mais simples de fazer isso:
chmod dir o-r
ou
chmod dir 770
O 770 dará ao proprietário e ao grupo acesso total, mas terá acesso a partir dos "outros". É inútil dar-lhes acesso de escrita e execução, embora se eles não podem lê-lo (necessário para ver o conteúdo), assim você pode também usar 770 chmod em oposição a 776 ou algo semelhante.