Existe um produto que fará isso: link (não afiliado). Pelo que sei, não há nenhuma maneira nativa de fazer isso no Windows.
Não é o único produto. Uma pesquisa no google para compactação automatizada de PDF deve revelar mais softwares que podem fazer isso.