Como você já percebeu: a compactação não funciona.
Você pode compactar o arquivo ISO da maneira que quiser quando estiver no seu disco rígido, mas os dados sempre serão gravados como UNCOMPRESSED no DVD. O formato de DVD não suporta compactação no DVD dessa maneira.
Modificar um ISO pré-compilação para remover algumas atualizações é possível, mas é uma arte arcana.
Extremamente complicado e você precisará ter uma boa compreensão de como funciona o slipstream.
Rodar o seu próprio ISO a partir de um ISO base do Windows e adicionar apenas os patches desejados (e possivelmente alguns drivers) é MUITO mais fácil e você pode controlar o tamanho do ISO resultante com muito menos problemas.
Obviamente, você pode gravar em um DVD de camada dupla. Isso lhe dará uma capacidade efetiva de 8,5 GB.
Mas:
Você já pensou em fazer um stick USB inicializável? É muito mais rápido instalar o Windows a partir do USB.
Um dispositivo USB de 8 GB custa aproximadamente o mesmo dinheiro que um par de DVDs de camada dupla e o USB pode ser reutilizado para outra coisa após o uso.
(Lembre-se também de que as unidades de DVD não são mais padrão nos novos computadores. Mas todas elas têm portas USB e podem ser inicializadas a partir de um dispositivo USB.)