A fórmula funciona desde que o topo do intervalo COUNTIF
seja absoluto (ou seja, A $ 2 em todas as linhas)
Se o topo do intervalo for alterado em cada linha (por exemplo, é =IF(COUNTIF(A$3:A$10750,A3)>1,"1","")
na linha 3), ele se comportará como você descreve.
Você pode tentar =IF(COUNTIF(A:A,A2)>1,"1","")