Em resumo, não vejo qualquer desvantagem no seu caso ao desativar o CSUM.
Essa configuração ajuda quando você usa uma placa de rede com suporte para soma de verificação de hardware. Em convidados virtualizados, isso significa que, se o host aceitar que o driver de rede virtual do seu convidado solicitará ao driver do host que lide com esse trabalho.
Desativar significa que suas CPUs virtuais farão esse trabalho.
Enquanto você estiver obtendo um melhor desempenho, mantenha-o desligado.