Não use expressões regulares. Estes são números e devem ser tratados como tal.
if [ $queue -lt 2 ]; then
echo "OK - $queue current jobs."
exit 0
fi
if [ $queue -lt 4 ]; then
echo "Warning - $queue current jobs."
exit 1
fi
if [ $queue -ge 4 ]; then
echo "CRITICAL"
exit 2
fi
-lt
= menos então; -ge
= maior igual, veja mais aqui