Selecione ColunaA, HOME > Estilos - Formatação condicional, Nova regra ..., Use uma fórmula para determinar quais células devem ser formatadas, digite:
=$A1<>""
em Formatar valores em que esta fórmula é verdadeira: Selecione Formatar ..., aplicar Borda (borda superior), OK, OK. Garantir Aplica-se a está definido como =$B:$E
, OK.