Não deve haver um impacto no desempenho se você habilitar ambos, mas se você quiser habilitar um, eu recomendaria o do roteador ADSL.
Por quê? Porque isso significa que qualquer pessoa que tente entrar na sua rede é bloqueada no ponto de entrada. Se eles conseguirem entrar no roteador ADSL, poderão tentar atacar seu roteador Wifi - o que, por sua vez, poderá comprometer toda a sua rede.