Sim, na maioria dos casos, você pode fazer isso. Você não definiu qual marca do roteador, então esta é uma resposta bastante vaga.
Na maioria das configurações de configuração do roteador de banda larga, há uma opção para clonar o endereço MAC do seu PC ou inserir manualmente um endereço MAC definido pelo usuário. Isso permite que o roteador pareça ser seu PC enquanto conectado ao seu ISP.