A menos que eles tenham mudado muito na versão mais recente do IPs estáticos, o Ubuntu deve funcionar bem com o dhcp-client. Eu também deixaria na máquina caso você precise obter um novo IP dinâmico.
Mas para responder à sua pergunta:
Se você ler a descrição do pacote ( link ), ele diz:
Packages providing dhcp-client
dhcpcd5
RFC2131 compliant DHCP client with IPv4LL support
pump
BOOTP and DHCP client for automatic IP configuration
O que significa que o dhcp-client é de fato um desses pacotes. Normalmente é dhcpd5. Então você só precisa:
sudo apt-get remove dhcpcd5