Eu não tinha acesso imediato ao Excel, então fiz isso no LibreOffice Calc. Às vezes, as funções não se comportam exatamente da mesma forma, portanto, verifique se isso funciona para você no Excel. No LO Calc, isso é muito simples, exatamente como você descreve como o que você quer fazer:
Em B2, eu inseri a fórmula para a primeira diferença: =A2-A1
Selecionei B1 e B2 e copiei-os na página. Ele produziu a série de uma célula em branco seguida da diferença para o par de valores associado na coluna A. Acabei de selecionar um formato de célula enlatada para exibir a diferença como horas: minutos: segundos.
O LO Calc manipula corretamente as células em branco ao calcular a média. A fórmula em B11 é apenas: =AVERAGE(B1:B10)
Se você estava com dificuldades, pode ter sido por causa da maneira como o Excel armazena data / hora. Os dois são armazenados juntos como o número de dias inteiros desde uma data de referência mais a fração decimal de um dia representando a hora. Você pode fazer aritmética com esses valores. Para que o resultado pareça uma hora, você só precisa escolher um formato de hora e o Excel o exibirá de forma familiar.
Se o Excel não lhe der o mesmo resultado, comente de volta.