Minha configuração atual do Windows 10 (Windows 10 Home, Versão 1511, Build 10586.218) também não permite alternar o padrão para o Firefox por meio do novo aplicativo Configurações. A opção é mostrada, mas não persistida.
Em vez disso, usei o antigo Painel de controle , que ainda está disponível e funciona:
Control Panel\All Control Panel Items\Default Programs
Depois de selecionar Programas Padrão, selecione Definir seus Programas Padrão. Escolha o seu navegador de sua escolha (por exemplo, Chrome ou Firefox) e clique em "Definir este programa como padrão".