Se o estilo Apêndice não for usado, o campo STYLEREF retornará um valor de "Erro! Nenhum texto de estilo especificado no documento".
Portanto, você deve alterar seu campo IF para testar se esse valor é o resultado e alternar suas opções de verdadeiro e falso mostradas acima. Então, se o estilo não for usado (ou seja, teste é verdadeiro), você quer mostrar "Nenhum", caso contrário mostrará o TOC. Veja o código de campo do exemplo abaixo: