Seu usuário precisa de write/executable (wx)
permissions no diretório para criar / excluir quaisquer arquivos nele (mesmo que você não os possua e não tenha permissões de leitura). Não há necessidade de possuí-lo.
Assim, para mover o diretório, você precisa ter wx
premissions no diretório pai para poder operar com arquivos e diretórios nele e wx
no diretório que você vai mover e em todo o diretório aninhado (permissões em arquivos não importa, se você não vai mudá-los).