O Excel assume que você não aplicou um formato se usar geral, por isso ele tenta encontrar o melhor formato para os dados inseridos. Para desabilitar isso, vá para Arquivo = > Opções = > Avançado e desmarque a opção para "Estender formatos e fórmulas do intervalo de dados".
Caso contrário, você pode definir a coluna D como algo como número, texto ou até mesmo um formato personalizado, e o Excel deixará de alterar a formatação dessa coluna.