Teoricamente, o problema é que, se você não tiver direitos de execução em um diretório, não poderá ler o conteúdo do diretório. Agora suponha que você poderia fazer o que queria:
user@desktop:/$ sudo cd restricted-dir
user@desktop:/restricted-dir$ ls
file1 file2
Como você pode ver, você entrou no diretório usando privilégios sudo e, quando sudo retorna, você se torna um usuário novamente, e você está em um diretório onde você normalmente não deveria estar.
Tecnicamente, o problema é o seguinte.
sudo cd restricted-dir
cd
é um shell embutido, não um comando.
sudo cd -i restricted-dir
Você provavelmente está em / root, mas teria o mesmo problema que o próximo.
sudo cd -s restricted-dir
Você abre um novo shell de root, cd no diretório, sai do shell de root e retorna para onde começou.
Em suma, a única solução é abrir um shell de root e mantê-lo aberto enquanto você estiver nesse diretório.