Você precisa usar $i em vez de i . O primeiro é substituído pelo valor de i , enquanto o segundo é mero texto.
cd desktop/mysite # If this is invariant then it does not need to be in the loop
for ((i=1;i<=100;i++)); do
curl -O "https://api.mysite.com/info?page=$i"
done