O problema foi com a APC. Eu estava usando o total de 64mb do cache. Eu aumentei para 120mb e tudo parece estar funcionando bem agora.
Para qualquer um que tenha esse problema, para aumentar o tamanho do cache, acesse o diretório php.ini (ou php.d e localize o apc.ini se ele existir) e adicione ou altere
apc.shm_size=64M
Para qualquer valor que você quer que seja.