Can I use a gigabit ethernet switch plugged into my cable modem and
then plug two different wifi routers into the switch. I want to use my
new high speed router to always go through my VPN and my old slower
speed router to connect normally.
A resposta é: "Talvez".
Se o seu ISP estiver fornecendo um dispositivo que seja um modem a cabo, um firewall NAT e um roteador (isso é comum), e se você tiver atribuído apenas um endereço IP (público) roteável (isso geralmente é o caso) , então você pode fazer isso, mas você pode precisar configurar o equipamento ISP para encaminhar as conexões para o seu roteador de alta velocidade.
Se o seu ISP estiver fornecendo apenas um modem simples e apenas um endereço IP roteável (público), a configuração descrita pode ser problemática.
Se o seu ISP estiver fornecendo um modem simples e mais de um endereço IP (público) roteável, você é de ouro. Dê um IP a cada um dos seus roteadores.