Você pode usar a função OFFSET
para alterar o intervalo a ser referenciado.
=COUNT(OFFSET(Tab1!$B$3:$B$32,0, ROW()-N,"<>0")
Onde OFFSET(Tab1!$B$3:$B$32,0,1) returns Tab1!$C$3:$C$32
. Fazendo o último parâmetro relativo ao número da linha, então você pode arrastar a célula para baixo (você deve substituir N pelo número da primeira célula).