Filemaker publica uma lista de configurações de hardware recomendadas .
Eu ficaria com uma plataforma que você conhece: o OSX ou o Windows Server. Se você for com hardware de PC, obtenha um sistema de grau de servidor de um fornecedor que ofereça boa garantia e suporte (HP, Dell e muitos outros provedores).
Não se assuste com o termo "hardware de servidor", isso não significa automaticamente que é muito caro. Por exemplo, um servidor HP ML110, quad-core, 2GB de RAM e 160GB de Sofware RAID1, pode ser adquirido por US $ 900. Se você precisar de uma unidade de backup de fita, adicione $ 800 para um DAT160. O Windows Server 2008 R2 Foundation custa apenas US $ 250. Isso ainda está abaixo de US $ 2.000 para um desempenho digno, com suporte, novo, decente, com backup em fita & software * server.
Eu não usaria a publicação na Web para expor um banco de dados à Internet, independentemente da importância ou trivialidade dos dados. Se você quiser que as pessoas acessem os dados remotamente, implemente uma VPN.
Se o seu roteador atual é capaz de executar conexões VPN, procure usar isso. Caso contrário, um servidor Windows pode fazer VPNs PPTP, L2TP e SSTP. O PPTP é amplamente suportado e provavelmente é suficiente se os usuários tiverem boas senhas (o que significa que são exigidas pelo sistema e não a seu critério).
* Hardware / software adicional pode ser necessário, não leio mentes, é melhor falar com um representante de vendas ou com a empresa de consultoria em computação com a qual você lida com mais frequência.