Provavelmente não é que a memória real esteja saturada pelo seu programa, mas não me surpreenderia se a largura de banda estiver saturada.
Se o seu novo sistema tem apenas 1 stick de RAM enquanto o seu antigo tem dois sticks de RAM, então a sua "tarefa numérica" é mais restrita à largura de banda do que a CPU.
A largura de banda de memória das duas CPUs:
i7-4700HQ : 25,6 GB / s
i7-7700HQ : 34,1 GB / s (canal duplo)
i7-7700HQ : 17 GB / s (canal único)
Estes valores são para "canal duplo", isto é, 2 cartões de memória. Se você tiver apenas 1 cartão de memória, o sistema estará funcionando no modo "canal único" a 17,05 GB / s para o i7-7700.
Se você realmente quer que o sistema funcione com desempenho máximo, e melhor que o antigo, então o número de cartões de memória é o provável culpado, pois o 7700 deve ser mais rápido de qualquer outra maneira.