Se a coluna é estática, sempre A, então em B3 na planilha2 basta colocar o número da linha inicial e usar esta fórmula:
=SUM(INDEX('datasheet'!A:A,Sheet2!$B$3):INDEX('datasheet'!A:A,MATCH(1E+99,'datasheet'!A:A)))
Será somado na linha indicada para a última célula com um número.
Outra opção como SUM ignorará todos os valores não numéricos para os quais a fórmula pode ser reduzida:
=SUM(INDEX('datasheet'!A:A,Sheet2!$B$3):'datasheet'!A65000)
Altere o 65000 para um número ridiculamente grande que nunca será alcançado em seu conjunto de dados.