Pergunta antiga, mas vou respondê-la já que hoje tive o mesmo problema e encontrei uma solução.
Resposta curta é que você precisa concluir o guia de IP estático aqui: link
Como parece que você está usando endereços IP Linode e privados, minha resposta será adaptada a esse ambiente.
Na verdade, estou usando o CentOS, então não tentei estas instruções no Ubuntu, mas as instruções do CentOS foram precisas, então aqui estão elas para o Ubuntu / Debian
Primeiro, altere /etc/network/interfaces para
# The loopback interface auto lo iface lo inet loopback
# Configuration for eth0 and aliases
# This line ensures that the interface will be brought up during boot.
auto eth0 eth0:0 eth0:1
# eth0 - This is the main IP address that will be used for most outbound connections.
# The address, netmask and gateway are all necessary.
iface eth0 inet static
address 12.34.56.78
netmask 255.255.255.0
gateway 12.34.56.1
# eth0:0
# This is a second public IP address.
iface eth0:0 inet static
address 34.56.78.90
netmask 255.255.255.0
# eth0:1 - Private IPs have no gateway (they are not publicly routable)
# so all you need to specify is the address and netmask.
iface eth0:1 inet static
address 192.168.133.234
netmask 255.255.128.0
Nota - estes endereços são diretamente da configuração de exemplo do Linode - altere o eth0:1 IP para ser o seu endereço IP privado como determinado pela sua página de configuração do Linode. Altere também o eth0 IP para ser o seu endereço IP principal conforme atribuído pelo Linode.
Como root no prompt de comando, insira /etc/init.d/networking restart
E é isso - deve funcionar agora como você esperava.
A página acima também fornece instruções para o Fedora / CentOS, Arch, Gentoo e OpenSuse.
EDIT: descobri que precisava atualizar minhas configurações de resolvedor de DNS também.
Edite o /etc/resolv.conf
# Generated by NetworkManager
domain linode.com
search linode.com
nameserver <your-nameserver-here>
nameserver <your-other-nameserver-here>
options rotate
Observe que os valores domain e search são opcionais e são diferentes em meu arquivo do que o que a Linode sugere em seus exemplos. Foi assim que meu arquivo foi por padrão e eu o deixei assim - apenas precisei excluir um servidor de nomes impreciso e adicionar os 2 nameservers da minha página de acesso remoto do servidor Linode. Também foi adicionada a linha options rotate .
Linode também recomenda desinstalar o DHCP, o que parece desnecessário para mim. Se você quiser, o comando é apt-get remove isc-dhcp-client dhcp3-client dhcpcd