Ok, descobri a questão.
As configurações padrão do MS Sql usam todos os núcleos do servidor para executar consultas grandes. Temos grandes leituras, por isso, estava acumulando uma longa fila de consultas esperando para serem processadas.
Para consertar, eu configurei o Grau Máximo de Paralelismo para ser 2 núcleos ao invés de ilimitado (8 no nosso servidor) e eu configurei o Limite de Custo do Paralelismo para 10 (segundos) de 5, que é o tempo no qual o o paralelismo entrará em cena para consultas.
Ambos podem ser encontrados no Sql Server Management Studio clicando com o botão direito do mouse no servidor, escolhendo Propriedades e, em seguida, clicando na guia Avançado.
Encontrei este artigo que explicou e resolveu o problema: