O query_cache_size não está limitado a 128MB. Ter um valor muito alto pode degradar o desempenho.
Você pode ter muitas limpezas de cache de consulta devido à fragmentação, não necessariamente com pouca memória.
Você deve ser capaz de aumentar com segurança o tamanho do seu cache de consulta para algo como 160MB ou até 192MB, mas se você começar a ver degradação, você pode querer diminuí-lo.