Obtido diretamente de support.office.com:
Database files grow with use
As you add and update data and change its design, a database file becomes larger. Some of this growth comes from new data, but some comes from other sources:
Access creates temporary, hidden objects to accomplish various tasks. Sometimes, these temporary objects remain in your database after Access no longer needs them.
When you delete a database object, the disk space that the object occupied is not automatically reclaimed — the database file still uses that disk space, even though the object is deleted.
As your database file fills up with the remains of temporary and deleted objects, its performance can degrade. Objects may open more slowly, queries may take longer than normal to run, and typical operations generally seem to take longer.
Embora você declare especificamente que o seu banco de dados Access simplesmente "consulta" uma fonte externa e é apenas um "front-end" então, eu acho, ainda está criando muitos dados temporários que estão sendo armazenados no arquivo e não sendo limpo.
Gostaria de saber se vale a pena realizar uma tarefa agendada para compactar e reparar o banco de dados - mas você precisa garantir que ninguém esteja conectado ao banco de dados (por exemplo, deixar o computador bloqueado e abrir o arquivo no Access no final de o dia) caso contrário, o compacto e o reparo não serão realizados.