Selecione o intervalo inteiro (usando seu exemplo, B1: B10).
Adicionar uma nova regra de formatação condicional.
Selecione Use a formula....
a fórmula que você usa deve ser =(B1>=A1)
(ou =(B1<A1)
para o vermelho)
você terá que digitar isso, pois usar setas ou clicar nas células irá inserir uma referência fixa com $
sinais, o que temos que evitar.
Use o botão Formato para alterar a cor (cor de preenchimento para o exemplo).
Agora, quando você clicar em OK, verá a mudança de cor de todo o intervalo com base no valor ao lado deles, em vez de um valor fixo obtido ao clicar nas células