IP spoofing para autenticar em uma rede não é uma tarefa fácil, mas pode ser feito. A maioria dos ataques de falsificação de IP só querem ocultar sua identidade porque não se importam em obter uma resposta (DDoS). Para obter sucesso no handshaking SSL, você precisará ser capaz de interceptar todos os pacotes para o IP que você está falsificando, porque você precisa respondê-los. Isso pode ser feito, mas é extremamente difícil já que você precisaria acessar certos roteadores ou estar na mesma sub-rede que o IP que você está fingindo ser.
Como você também está adicionando um mecanismo de autenticação, não acho que será fácil atacá-lo. Apenas acompanhe as tentativas de login e implemente alguns trions para que você possa bloquear um ip após tantos ataques (e um mecanismo de notificação), e você ficará bem.