Sem SUM ou OFFSET necessários. Apenas coloque nada em B1 e '= A2-A1' em B2. Em seguida, selecione B1 e B2. Em seguida, copie e cole para baixo (arraste o quadrado preto no canto inferior direito da sua seleção ou apenas selecione copiar no menu e selecione a área de destino e clique em colar).
O copy-paste copia a célula alterando com nada e a célula com a fórmula abaixo até onde você diz para fazer.