Primeiro, você muda sua fórmula para
=ISNA(A1)
você não precisa da parte IF. Em seguida, use a formatação condicional. Primeiro selecione B1: B5000 (ou qualquer coluna em que sua fórmula esteja. Próximo formato - formatação condicional. Em seguida, escolha Cell Values Is e digite False na caixa. Clique no botão Formatar para definir o padrão como vermelho. Clique em OK.
As fórmulas da planilha só podem retornar valores. Eles não podem alterar outras propriedades da célula (como cores). A formatação condicional é o caminho a seguir aqui.