No Excel, a solução é usar uma referência para a coluna inteira. Embora o Excel tenha um limite no número de linhas e colunas que uma planilha pode ter, o número máximo é o mais próximo do infinito que você obterá.
Para o seu exemplo, você pode usar o seguinte:
=SUM(D:D)-IF(ISNUMBER(D1),D1,0)
Isso adiciona tudo na Coluna D e subtrai o valor de D1, a célula que você deixou de fora.