A idéia é carregar esses arquivos no cache antes de eles serem necessários, para que não haja necessidade de esperar por eles quando o X estiver tentando iniciar.
Obviamente, não há muito sentido em fazer isso para arquivos que não são realmente necessários na operação diária do sistema, portanto, por exemplo, armazenar em cache o próprio servidor X é contraproducente no seu caso, sim; no entanto, você pode se surpreender com o que pode ser puxado algumas vezes: é bem possível que alguns programas executados pelo seu servidor realmente tragam bibliotecas X11, talvez via Cairo, então não seja demasiado precipitada em dispensar isso como inútil!
Pode ser melhor se o sistema periodicamente se rastrear na inicialização para descobrir o que precache (e quando); O Windows faz algo desse tipo. (Ele também faz isso em uma base por exe para a inicialização do processo; na verdade, eu vi o kernel puxando coisas para o cache logo após consultar seus registros sobre o executável de um novo processo!)
Mais uma vez, tudo se resume a reduzir o tempo gasto na espera pelo armazenamento das coisas.
Editar:
Isto, obviamente, não é essencial. Nada vai quebrar se isso não acontecer (exceto insetos estúpidos); o tempo de inicialização será diferente.