Você simplesmente precisa usar uma instrução IF
=IF(A2<>"",EDATE(A2,5),"")
Copie esta opção para cada célula, de forma que ela execute este cálculo em todas as linhas.
A sintaxe é
IF(condition, if condition is true, if condition is false)
Nesse caso, a condição é A2 <> ""
, o que significa que A2 não está vazio. Se não estiver vazio, vá para a condição verdadeira (sua fórmula original), senão, vá para a falsa condição.
Editar
Como por comentários, se você precisar adicionar dias a essa fórmula, use
=IF(A4<>"",EDATE(A4+14,5),"")