Verifique com ferramentas como ps e htop se esta outra nano instância ainda está em execução. Se não for, provavelmente há um arquivo de ponto oculto na mesma pasta que leva nano a acreditar que a outra instância ainda está em execução (pelo menos o vim funciona dessa maneira, não uso nano ; tente ls -lA e procure um arquivo que comece com .server.js ou algo parecido.