Use aspas simples em vez de aspas duplas:
alias rdir='mkdir -p ./$(cat /dev/urandom | tr -cd 'a-z0-9' | head -c 8)/'
Agora, a instrução é avaliada toda vez que o alias é chamado. Com aspas duplas, a instrução é avaliada ao definir o alias, portanto estático.
Além disso, uma solução mais simples para criar um diretório aleatório dentro do diretório de trabalho atual seria usar mktemp
:
alias rdir='mktemp -d --tmpdir=./'