Uma maneira mais elegante é usar uma fórmula de matriz. Isso retornará TRUE se cada número em intervalo for um número ou FALSE se intervalo contiver números diferentes ou em branco.
{=AND(ISNUMBER(range))}
Para isolar os valores não numéricos no intervalo, você pode aplicar a formatação condicional usando uma fórmula semelhante.
Dica: Para criar uma fórmula de matriz, pressione Ctrl + Deslocamento + Digite ao invés de Digite ao entrar / editando a célula.