Você precisa tornar o intervalo dinâmico. A primeira célula do intervalo é fixa, enquanto a segunda é relativa:
=COUNTIF($A$1:A1,A1)
Assim, ao ser arrastado / copiado, a segunda parte do intervalo mudará, assim, sempre olhando da célula para cima.