Apesar do nome "serial" similar, as portas seriais e USB usam sinalização completamente incompatível. Para conectar uma porta de console serial ao USB, você precisaria de um cabo ativo com um chip conversor.
Certifique-se de que é isso que você tem: quando o terminal USB é conectado a um computador, ele deve ser imediatamente reconhecido como uma porta COM pelo seu sistema operacional (mesmo se a outra extremidade estiver livre).
(Os cabos "USB-para-RJ45" vendidos para o APC UPS não funcionarão. Eles são adaptadores passivos, e o no-break realmente fala o protocolo USB completo - Não RS232 - através de sua porta RJ. )
Você poderia, em teoria, montar um cabo de console sozinho. A maioria dos cabos "USB-to-serial" vendidos hoje em dia usa chips como o Prolific PL2303, talvez o FTDI FT232RL ou o Microchip MCP2200 (procure por "USB UART converter"). Não sei quais partes adicionais podem ser necessárias.
Se o seu roteador realmente tiver uma porta de console RJ-45, a pinagem provavelmente será chamada de "rollover cable".