Tente citar o nome do arquivo mysqlinstanceconfig.exe
, assim:
ExecWait 'msiexec /i "$INSTDIR\mysql-essential-5.0.27-win32.msi" /qn'
ExecWait "$\"C:\Program Files\MySQL\MySQL Server 5.0\bin\mysqlinstanceconfig.exe$\" -i -q ServiceName=MySQL RootPassword=root ServerType=DEVELOPMENT DatabaseType=MYISAM Port=3306 RootCurrentPassword=root"
A razão para isso é que você tem espaços no caminho para o nome do executável. Esse caminho deve estar entre aspas para poder formar um único caminho.