Eu assumo que isso é do manipulador de sessão deault (você não disse).
Sim, os arquivos devem ser removidos automaticamente, dependendo das configurações de session.gc_maxlifetime e session.gc_probability . Se você tem atualmente as configurações padrão, aumentar o último reduzirá o número de arquivos.
Mas, a menos que você tenha problemas de desempenho / capacidade, não há nada com o que se preocupar.
O fato de você ter tantos arquivos vazios implica que o seu servidor gasta um tempo significativo gerenciando nenhum dado - se você tiver problemas de desempenho, o tratamento mais inteligente de sessões vazias pode ajudar. isto é, faça a reengenharia do seu código - mas leia o manual sobre como o gerenciamento de sessão funciona primeiro.