Com o hardware apropriado, isso é bem fácil de fazer. Um switch gerenciado permitirá que você atribua um ou mais IPs a uma porta (física) e bloqueará o tráfego proveniente de qualquer outro IP nessa porta. Você também pode usar uma interface de rede diferente por computador em seu servidor, embora isso possa se tornar rapidamente mais caro.
Na falta desse hardware, o melhor que você pode fazer é filtrar MAC e bloquear o tráfego proveniente de um IP que não está associado ao MAC. Isso é factível usando o iptables no Linux. Esteja ciente de que falsificar um endereço MAC é muito fácil.
Isso não impedirá que o computador 'tome' o IP, pois ele ainda pode ser definido estaticamente na interface, no entanto, todos os pacotes que usam esse IP serão descartados, por isso não é muito útil.