Parece que você está executando uma versão beta, que costuma ser problemática. No entanto, só porque você especifica qual memória usar, isso não significa que o sistema operacional irá alocá-lo. Quando o mysql pede o sistema operacional para a quantidade de memória, digamos 8GB você tem, ele recebe uma espécie de nota promissória: "sim, claro, vá em frente, você pode ter 8GB".
Em seguida, o aplicativo (mysql, neste caso) gerencia seu próprio heap e a quantidade de memória usada. O uso aumenta à medida que o heap aumenta, à medida que o número de consultas aumenta. É por isso que você vê um aumento ao longo do tempo.
O motivo pelo qual seu servidor bloqueado pode ser de várias causas, como outros aplicativos que usam mais memória do que o esperado, ou simplesmente há um bug no mysql (que eu acho improvável).