Tente este código. Ele irá percorrer A2: A25 (deixe-me saber se esse intervalo pode mudar e eu posso fazer isso mais flexível) e ocultar a linha de qualquer célula nesse intervalo que está vazia. Não há uma maneira simples que eu saiba de esconder células únicas, isso não faz sentido para mim. Se você tiver uma tabela de dados, nada coincidiria com a linha que deveria, pelo menos visualmente.
Sub Hide_Rows()
Dim i As Integer
For i = 25 To 2 Step -1
If Range("A" & i) = "" Then
Rows(i).Hidden = True
End If
Next i
End Sub