Basta deixar os números das linhas:
=SUM(A:A)
Observe que essa expressão não pode ser colocada na coluna A (que causaria uma soma recursiva sem fim que o Excel não permitirá).
Se você quisesse somar todas as linhas na coluna A acima da linha atual (digamos 51), poderia fazer isso:
=SUM(A$1:A50)
Se você mover a célula que contém essa expressão, ela mudará a A50 para o que estiver acima da célula atual, mantendo o mesmo o ponto inicial da soma (A1).
A mesma coisa pode ser feita se o total for mantido acima das células somadas na linha atual (digamos, linha 1):
=SUM(A2:A$51)