Aqui está uma maneira de fazer isso modificando sua fórmula um pouco. Ele usa a função OFFSET para escolher a coluna com base na linha.
=COUNTIF(OFFSET(A$2,0,ROW()-1,10000,1),"<0.5")
Isto ancora a referência a A2, e o intervalo é definido como deslocamentos a partir daí. Não há deslocamento zero para a linha inicial. A coluna é compensada com base no número da linha. No meu teste, iniciei os resultados na linha 1. O primeiro resultado que você deseja é para a coluna A, que é zero deslocamento da coluna do ponto de referência, portanto, subtraio 1 do número da linha. Você precisaria alterar o ajuste se começar em uma linha diferente.
Os dois últimos parâmetros OFFSET retornam um intervalo com uma altura de 10.000 e uma largura de 1. O COUNTIF então trabalha nesse intervalo. Quando você arrasta ou copia isso, o número da linha direciona a seleção da coluna.