Usando uma combinação das fórmulas COUNTA e INDIRECT:
=INDIRECT("B"&OFFSET($A$2,1,0,COUNTA(A:A),1))
Se você tivesse dados nas células A2: A5, 5 seria sua linha máxima. A indireção é avaliada como B5. Portanto, a fórmula acima retornará o valor da célula B5.