Depois de escrever esta pergunta, comecei a pesquisar e a procurar uma solução. Eu encontrei um trabalho que basicamente apenas desativa downloads parciais. Não é a solução mais eficiente, mas parece funcionar.
<LocationMatch "\.pdf$">
Header unset Accept-Ranges
</LocationMatch>