Olhando a configuração aqui, o mysql irá usar quase toda a memória da máquina - se é um servidor MySQL dedicado rodando apenas o InnoDB, é exatamente assim que deve ser configurado.
but when these end they do not release the memory
Eles não irão liberar memória do buffer pool innodb - é assim que o sistema deve funcionar.
Se o seu sistema está usando swap, então o mysql está vazando em algum lugar (você esqueceu de nos dizer qual versão você está usando). Muito mais provável é que alguma outra coisa esteja usando quantidades significativas de memória e não liberando-a.