As especificações dizem que a taxa máxima de download é de 38 Mbps, então 12 não devem ser difíceis de lidar. A questão importante é, quando tudo desacelera, você está usando os 12 Mbps completos que sua conexão permite? Você pode muito bem estar exagerando na sua conexão.
Existem várias coisas que podem causar lentidão quando se trata de cabo (ou DSL). O cabo é executado em um tubo compartilhado como qualquer outro, portanto, é possível que o tronco seja superutilizado. Também é possível que sua conexão seja simplesmente superutilizada. Também poderia ser um modem ruim. Pode ser um problema entre seu roteador e seu modem ou seu modem e a parede (cabeamento) ou até mesmo o roteador.
Troque todos os cabos possíveis, conecte-se também diretamente ao modem e contorne o roteador. As coisas melhoram?
Você tem outro modem para testar? se assim for, troque, fica igual?
Você está usando o modem de outro serviço? Em caso afirmativo, você obteve as especificações desse serviço para garantir que está usando todos os parâmetros corretos?
Se você conectar o modem a lugares diferentes da casa (digamos, onde o cabo sai do outro lado, ou ao lado da sua casa ou na garagem) para ver se funciona melhor lá?
Estas são todas as coisas que o seu ISP provavelmente fará com que você teste antes de agir, então é uma boa ideia tirá-lo do caminho e fazer boas anotações. Se você chegar ao último passo e ele ainda estiver lento, isso basicamente tira tudo do seu lado e deixa o problema na placa das empresas de cabo para lidar - ligue para eles.