Você pode combinar condições usando uma opção Tipo de Regra de "Usar uma fórmula para determinar quais células devem ser formatadas". Então, digamos que sua regra original era definir a célula como amarela, se estiver dentro de 10 dias a partir de hoje. Isso seria:
=(E2 - TODAY() < 10)
Para adicionar uma condição para ignorar a regra, se a data de conclusão tiver sido definida (ou seja, algo na coluna F), use a função AND assim:
=AND((E2 - TODAY() < 10),F2="")
Para concluir, você deseja incluir um cheque para ignorar esta regra nos últimos dias:
=AND((E2- TODAY() < 10),E2 - TODAY() >0,F2="")
A regra para tarefas não concluídas anteriores é mais fácil:
=AND(TODAY() >= E2,F2="")
Infelizmente, o Excel não parece permitir referências relativas em fórmulas condicionais, então você terá que colar isso em outras células, uma a uma, em vez de um intervalo. (Provavelmente existe uma maneira alternativa de aplicar isso a um intervalo?)