Depende do diretório do qual você está falando. Alterar as permissões do diretório /tmp
não é uma boa ideia, por exemplo. Quando você está usando um diretório separado para apenas arquivos de sessão do PHP, você pode alterar a propriedade para o usuário e grupo do Apache.
Se você estiver hospedando múltiplos usuários na mesma máquina, você pode querer executar o PHP como um usuário separado para cada VirtualHost ou configurar o session.save_path para um diretório privado para cada VirtualHost. Caso contrário, os usuários podem ler os arquivos de sessão PHP uns dos outros, porque eles são de propriedade do usuário do Apache.
Quais problemas você está enfrentando com o GC?