Depende se o seu modem tiver um recurso inicial. (Provavelmente não)
Apenas remover o IP da lista de DHCP não faz nada porque o IP já foi emitido.
Acho que sua melhor aposta seria bloquear esse IP nas configurações de NAT para que ele não tenha mais acesso à Internet. Porque mesmo se você pudesse invalidar seu endereço IP, o computador dele pediria outro. Bloqueá-lo da internet impedirá que isso aconteça. Ele ainda terá acesso à LAN local (para servidores na sua rede), mas ele não poderá acessar a Internet.
Se o seu modem tiver recursos de QOS, talvez seja ainda melhor limitar a velocidade de download a um rastreamento. Dessa forma, ele ainda pode acessar a Internet, mas o download de arquivos grandes será muito lento.