Obrigado ao @StephenHarris
A saída do comando ipset é gerada em stderr (não stdout) e 2>&1
captura a saída para a variável.
str=$(/usr/sbin/ipset test IPsetName 1.1.1.1 2>&1)
if [[ $str = *"The set with the given name does not exist"* ]]; then
echo "IPsetName not found"
fi
Agora, esta declaração if funciona conforme o esperado!