Para programas antigos DOS e Win16:
Windows 98 e versões anteriores: FILES= declaração em config.sys
Windows NT / 2000 / XP (Provavelmente Vista & 7): FILES= declaração em \Windows\System32\config.nt (Possivelmente também uma configuração de registro?)
Para programas nativos do Windows (API do Win32): Não deve ser aplicado (Por MSDN, não há limite de identificadores de arquivo fixo na API do Win32, a menos que eu seja mal-entendido).
Se você estiver atingindo o limite de identificador de arquivo global (kernel) do sistema, terá problemas maiores para resolver.