Use essa fórmula:
=INDEX($A:$A,COLUMN(A:A))+$B1
Ajustará como você pediu nos dois sentidos.
Você pode usar referências absolutas para A1 na primeira coluna:
=$A$1+B1
e arrastá-lo para baixo será: =$A$1+B2
na próxima linha e B3 na próxima ...
Para a segunda coluna use:
=$A$2+B1
e arraste-o para baixo
Outro método é usando indiretamente:
=SUM(INDIRECT("A"&COLUMN(A1)),INDIRECT("B"&ROW(A1)))
e você pode arrastá-lo horizontalmente e verticalmente