Provavelmente, os culpados são essas configurações:
tmp_table_size=1768M
max_heap_table_size=1768M
Isso significa que cada tabela temporária individual criada por uma consulta em seu site pode levar até 1768 megabytes de memória ou 1,7 GB.
Eu diminuiria isso para 64M. Isso diminuirá o uso da memória, mas também poderá fazer com que o MySQL grave dados temporários da tabela para consultas no disco, o que desaceleraria as coisas.
Se o MySQL usa muito o disco para tabelas temporárias, você precisa analisar seu aplicativo e descobrir onde estão as consultas que geram grandes tabelas temporárias, e depois refatorar o código para que grandes tabelas temporárias não sejam necessárias.