Você fez uma pergunta bem específica: o que o cache de CSV faz na memória?
A resposta é que a memória é alocada para o cache de CSV estaticamente e nunca liberada. Portanto, se você tiver um failover, essa memória não estará disponível para mais nada, como a escolha de VMs que talvez precisem ser executadas.
Eu suspeito que, após uma alocação relativamente pequena (o padrão de 1/2 GB), o valor marginal de mais memória no cache do CSV é baixo para você.