Sem o uso do VBA, isso requer uma coluna extra / auxiliar.
InsiraaseguintefórmulaemB2
ectrl-enter/copy-paste/preenchaorestantedacoluna:
=IF(A2<>0,A2,(INDEX(A:A,ROW()-1)+INDEX(A:A,ROW()-2))/2)
Veja esta postagem para dicas sobre como preencher facilmente a fórmula em um grande número de linhas.
Se você precisar alterar a coluna original, basta copiar a segunda coluna e Colar especial como valores na primeira coluna.