O que parecia causar toda a fragmentação era um Facebook Like Box que eu tinha colocado na barra lateral dos meus posts. Este pequeno widget sozinho 'custava' cerca de 50 pedidos por pageload e consistia em 20-30 minúsculos javascripts (com um total de 500 KiB por pageload, de acordo com Pingdom), que mudavam em cada requisição - faces diferentes, script diferente. Eu acho que a APC tenta armazená-los em cache apenas para jogá-los fora novamente.
De qualquer forma, eu removi o widget, limpei meu cache e agora ele tem funcionado por 12 horas seguidas, com apenas 8% de fragmentação - com configurações padrão e shm_size a 512MB.
Obrigado de qualquer forma por todos os rapazes de ajuda.