O Debian provavelmente configurou / fez o patch do nginx para o seu pacote colocar o arquivo pid em algum lugar específico que ele não faz por padrão. Quando você o substituiu por meio de algo compilado da origem, ele não corresponde às expectativas da infraestrutura de serviço.
Eu olharia quais correções e opções de configuração eram feitas pelo Debian e recompilava sua versão 1.4.x com as opções para colocar o arquivo pid no mesmo lugar.
Sobre como evitar esse tipo de problema? Faça as coisas através de pacotes ou compile a partir da fonte, mas não de ambos. Ou esteja ciente de que você precisará tomar cuidado extra ao fazer isso, pois as coisas vão quebrar.