Até onde sei, não existe uma função incorporada para determinar se uma célula contém uma fórmula ou um valor.
Um caminho a percorrer é criar uma UDF simples no VBA para fazer essa determinação para você, como
Function IsFormula(rng As Range) As Variant
IsFormula = rng.Cells(1, 1).HasFormula
End Function
e use essa função em seu formato condicional