Não sei ao certo como você faz isso na GUI, mas usando o docker cli você pode passar parâmetros para o comando run
conforme descrito aqui :
docker run -e MYSQL_ROOT_PASSWORD=mypassword -d --memory 500m mysql
Você pode especificar opções para isso, como 100m, 1g, etc.