Sim, um arquivo em um diretório só é acessível para usuários que possuem a permissão de execução no diretório. É como deixar jóias em uma gaveta destrancada dentro de uma casa trancada: as jóias estão fechadas.
Um usuário aleatório não pode criar um link físico para um arquivo, apenas o arquivo do proprietário. Se o arquivo tiver vários links físicos, alguns dos quais estão em um diretório acessível publicamente, o arquivo ficará publicamente acessível. Mas isso tem que ser configurado pelo dono do arquivo.
Qualquer pessoa pode criar links simbólicos que apontam para um arquivo, mas isso não permite que eles acessem o arquivo. Links simbólicos não ignoram as permissões.
Se o diretório for executável em algum momento e houver processos que tenham o arquivo ou um diretório pai aberto no momento em que você restringir as permissões no diretório, esses processos ainda terão o arquivo aberto posteriormente. No entanto, se fecharem (ou mudarem para outro diretório), não poderão reabri-lo (ou alterar o diretório de volta). Da mesma forma, um processo setuid ou setgid pode abrir o arquivo ou mudar para o diretório e, em seguida, descartar suas permissões. Tudo isso requer a cooperação do proprietário do arquivo ou diretório.
Não há como abrir um arquivo através de seu inode. O fato de que isso permitiria ignorar permissões restritivas como esse caso é a principal razão pela qual esse recurso não existe.