Você precisa verificar se as configurações estão no grupo [mysqld]
em /etc/my.cnf
[mysqld]
tmp_table_size = 64M
max_heap_table_size = 64M
faça uma das duas coisas:
OPÇÃO 1: Reinicie o mysql
service mysql restart
OPÇÃO 2: Defina globalmente para novas conexões de entrada (reinicialização não é necessária)
SET GLOBAL tmp_table_size = 1024 * 1024 * 64;
SET GLOBAL max_heap_table_size = 1024 * 1024 * 64;
Experimente!