Você está correto em dizer que o switch não está "roteando os pacotes". "Pacote" é um termo geralmente usado para se referir à camada 3 do modelo de rede de 7 camadas OSI. O switch presumivelmente "alternará" o tráfego na camada 2, usando endereços MAC. O roteador só deve entrar na equação do tráfego que sai da sua rede local, ou seja, em direção à Internet. O roteamento na camada 3 é entre redes lógicas (tipicamente redes IP), mas na camada 2, a rede local, estamos simplesmente mudando.
Se uma reinicialização do comutador resolver seu problema, você provavelmente terá um problema de camada 1 (camada física) ou camada 2 (camada de enlace de dados).
Eu mudaria alguns cabos, mudaria o switch, moveria dispositivos em portas de parede e portas de switch e executaria algumas capturas de pacotes para tentar diminuir a origem do problema.