Estender o caminho com * não funciona entre aspas duplas.
Você poderia tentar assim:
#!/bin/bash
for dir in /var/www/html/*/; do
if pushd "$dir"; then
wp plugin update --all --allow-root
wp core update --allow-root
wp language core update --allow-root
wp theme update --all --allow-root
rse
popd
fi
done