Bem ... Não é realmente uma solução, mas considero o fim da pesquisa.
Parece ser um bug no MySQL. Nós descobrimos através deste este bug que parece uma duplicata de esta
Como solução alternativa, para evitar a geração de tantos arquivos temporais, aumentamos binlog_cache_size para um valor razoável para nós (após o benchmarking do aplicativo, e verificando o tamanho dos arquivos com lsof). Se você quiser explorar mais, você pode encontrar um artigo sobre outras opções para resolver isso.
Espero que ajude alguém;)