Sim, você pode fazer isso. Há um recurso do Windows é a conexão Bridge. Você pode fazer uma conexão de ponte. Ou, alternativamente, você pode usar software como o Speedify (Anteriormente conhecido como Connectify Dispatch).
O Speedify facilitará sua dor, caso contrário, você poderá precisar configurar sua conexão com a Internet.