Experimente a seguinte fórmula como critério para a formatação condicional:
AND(NOT(ISNUMBER(A2));B2<TODAY())
(assumindo C8
é a primeira célula a ser formatada condicionalmente).
Se você deseja definir essa regra de formatação para um intervalo de células, ainda é possível fazer referência às primeiras células desse intervalo: