Você está certo de que não precisa de QoS se nunca atingir a capacidade de sua conexão com a Internet, mas tem certeza de que nunca bateu nela?
O TCP foi projetado para transferir dados o mais rápido que a rede permitir. Se um dos seus dispositivos estiver baixando uma atualização de software de um nó CDN local na rede do seu provedor, ele poderá usar toda a largura de banda disponível. Se você estivesse tentando fazer qualquer outra coisa na conexão da Internet ao mesmo tempo, teria congestionamento.