Em muitas redes de internet do consumidor, posso definir meu IP para o dos vizinhos e ter seu IP, então, sim, os IPs podem ser falsificados. Os servidores colocados também costumam compartilhar uma sub-rede entre clientes diferentes. Apenas DOS, a máquina cai, assume o IP e você está pronto ...
De qualquer forma, depende da sua situação. Você tem dados que você espera que sejam roubados ou que tentaram ser roubados? Então você precisa de mais segurança do que a lista branca de IP. No entanto, será um servidor 'normal' (web), então, geralmente, restrições de IP são necessárias apenas para softwares comuns como o PHPMyadmin. Software como o SSH, por exemplo, não será apenas quebrado, porque o OpenSSH é estritamente auditado. Mesmo DenyHosts (negar IP's que tentam logar freqüentemente) é desnecessário e principalmente irritante (eu fui bloqueado fora de minhas próprias máquinas com bastante freqüência ...).
Minha experiência é que, se você não tem dados que outra pessoa deseja, seu maior problema são as verificações automatizadas de sites como PHP flakey para enviar spam. As medidas de segurança mais simples, como a lista de permissões de IP ou a execução em uma porta diferente, geralmente são suficientes para isso.