Can I use a packet sniffer here to determine if the user is downloading something?
Sim, você pode, se o que você tem é realmente um hub, não um switch. Se for um hub, todos os pacotes de rede serão enviados para cada porta, permitindo que qualquer pessoa veja o tráfego de todos os outros. Se for um switch, o tráfego de rede é enviado apenas para as portas para as quais o tráfego é destinado.
Can I determine if the user is downloading a file based on the modem alone.(The lights blink faster)
Bem, você pode fazer uma suposição geral sobre o que está acontecendo com sua conexão com a Internet apenas olhando para as luzes, mas você realmente não deve confiar nisso.
Is there an application that I could use for the modem or the hub to limit or avoid direct downloads.
Você precisa de um roteador / firewall entre o modem e o resto da sua rede. Algo como o PFSense executado em um PC sobressalente funcionaria muito bem e permitiria que você tivesse um controle refinado sobre o tipo de tráfego permitido deixe sua rede.