Parece que você digitou mal a fórmula ao entrar no excel.
Além disso, você precisa converter graus em radianos, porque o Excel recebe entradas para funções trigonométricas como radianos. No final, precisa converter o resultado de ATAN2 de volta para graus. Solução:
=DEGREES(ATAN2(COS(RADIANS(latA))*SIN(RADIANS(latB))-SIN(RADIANS(latA))*COS(RADIANS(latB))*COS(RADIANS(lonB-lonA)),SIN(RADIANS(lonB-lonA))*COS(RADIANS(latB))))
Origem da fórmula: link