Claro, na formatação condicional, escreva a condição como =J2<>""
. Isso será verdadeiro se J2 contiver qualquer coisa e falso se estiver em branco.
Eu não entendo o seu problema com aspas - você pode colocar aspas no J2 e ele ainda funciona - "
não é o mesmo que nada.