Para isso, selecione os valores na coluna A. Então vá para Home - > Estilos - > Formatação condicional - > Novas regras. Escolha "Usar uma fórmula para determinar quais células devem ser formatadas". Digite as fórmulas que você acabou de escrever e formate as células de acordo. Para enganar o ponto aqui é que ao selecionar as células, o Excel adiciona automaticamente o símbolo $ para torná-lo uma referência absoluta. Basta remover o símbolo $ antes dos números de linha e, quando você clicar em OK, ele deverá funcionar.
A fórmula na formatação condicional deve ser
=$B1 > $A1 + 10
=$B1 < $A1 + 10
=$B1 < $A1
Você pode até mesmo formato condicional apenas a primeira célula e, em seguida, copiá-lo e Colar especial - > Formata sobre os outros valores na coluna A.