O significado de permissão de execução para um diretório é a capacidade de pesquisar nomes de arquivos dentro desse diretório. Obviamente, procurar com êxito por um nome de arquivo produz uma referência a um número de inode, mas a permissão de execução não tem nada a ver com inodes em si.
Sem permissão de execução no diretório, você não pode declarar, abrir, renomear, excluir ou descer em subdiretórios dentro desse diretório. A única coisa que você pode fazer é ver a lista de quais nomes de arquivos existem, e somente se você tiver permissão de leitura (e ler, mas não executar, é um estranho conjunto de permissões para um diretório).
Considere se você tem rw- em um diretório. Você sabe que o nome do arquivo foo existe dentro deste diretório. Para apagá-lo, você precisa procurá-lo e até precisa acessar o inode (para diminuir sua contagem de links). Para essa questão, você precisa acessar o inode para saber se é um diretório ou não (porque se for um diretório, unlink deve falhar e rmdir deve ser bem-sucedido, e o inverso se não for um diretório). Mas você não pode procurar.