Você tentou aumentar apc.shm_size
?
Ele controla a quantidade total de RAM que a APC precisa. Tenho certeza que, mesmo que sua saída apc.php pareça mostrar espaço vazio, haveria menos fragmentação se você aumentasse a memória disponível para a APC. Eu acho que a fragmentação ocorre quando o APC tem que remover coisas e substituí-las, então dar mais espaço para respirar pode reduzir a fragmentação.
Tenho certeza de que a fragmentação é um problema e que você deve tentar corrigi-lo. Deve ser bem fácil abaixá-lo abaixo de 1%, embora eu possa ser tendencioso porque o nosso servidor HTTP é como um monte de memória sobressalente que jogo na APC.