O que você está querendo fazer não é particularmente prático, e as partes podem nem ser teoricamente práticas, mas acho que você está fazendo a pergunta errada.
O primeiro problema que você tem é que o "modem" não é realmente um modem, é um roteador com modem embutido. Isso significa que quando seu amigo está conectado, o tráfego não está atravessando o seu PC. Para fazê-lo atravessar o seu PC, você precisará modificar a configuração do hardware para passar pelo seu PC e outro ponto de acesso ou interceptar o tráfego no roteador. Se você tem um roteador padrão ao consumidor, isso é quase impossível - a menos que você possa rodar DD-Wrt, Tomato ou similar, caso em que é muito difícil. Você precisa estar ciente de que o que você está falando também é o uso intensivo da CPU e o roteador pode não ser poderoso o suficiente.
Verificando o SHA-256 de um arquivo em trânsito, embora possivelmente teoricamente possível - não é realmente prático -, entre outras razões, ele quebrará o streaming e a conectividade do tcp. Seu dispositivo teria que reconhecer e baixar o arquivo inteiro e, em seguida, verificá-lo antes de enviá-lo. Isto significará longos atrasos, muitos recursos usados e quebrará a pilha TCP por causa de timeouts etc. Além disso, como comentadores sugeriram, ela pode ser facilmente trabalhada usando criptografia, compressão, mudança de representação de conjunto de caracteres ou um monte de outras coisas.
Para responder à sua edição - para inspecionar / modificar pedidos, você precisará instalar um servidor proxy no roteador - um que seja capaz de inspecionar e modificar dados.
Dito isto, posso sugerir que o seu conceito é falho. Se você está tentando bloquear The Pirate Bay e Popcorn TV, o que você provavelmente está querendo fazer é bloquear o protocolo bittorrent - isso é fácil. Basta limitar o tráfego de entrada e saída a portas conhecidas associadas a serviços aceitáveis. Isso irá quebrar o protocolo, já que ele usa portas diferentes para os tipos de coisas que você pode fazer proxy. Também é fácil no roteador, pois não requer proxies etc. [Novamente, isso pode ou não ser possível, dependendo do roteador. Qual é o seu roteador ? ]