A média dos três números é -10.8333 ..., quer você use uma calculadora ou Excell. Mas suas duas equações para tirar a diferença dão, errr ... resultados diferentes: Sua primeira equação dá -10,83 - 2820,00 = -2830,83 porque subtrair um número (positivo) de um número negativo fornece um número negativo com maior valor absoluto. Sua segunda equação dá 2820,00 - (-10,83) = 2830,83 porque subtrair um número negativo equivale a adicionar um número positivo. Portanto, a equação que você quer é
=abs(AVERAGE($R25,$R26,$R27)-$H27)
ou
=abs($H27-AVERAGE($R25,$R26,$R27))
que são equivalentes entre si.
A função = abs () retorna o valor absoluto do argumento, ou seja, o que estiver dentro do ().
Suspeito que seu erro na calculadora veio de ignorar o fato de que os três valores a serem calculados foram, cada um, valores negativos. Então, você calculou a média e obteve 10,83, e subtraiu 10,83 de 2820. A média dos três números é de -10,83, não de 10,83. Espero que ajude.