Não, não fará diferença. Os dispositivos USB2 não podem falar nas velocidades USB3, independentemente da versão do controlador. Portanto, quando uma porta do controlador está falando com um dispositivo USB2, ela também não pode falar na velocidade do USB3. Ele nem usa os fios USB3.
A única maneira de um controlador mais rápido fazer alguma diferença é se ele tiver mais portas e, portanto, os dispositivos anteriormente conectados à mesma porta do controlador foram alterados para se conectar a diferentes portas do controlador.