Até onde sei, o Nessus não é mais livre. Você deve dar uma olhada no OpenVAS, que é uma alternativa do Nessus (e tem uma cobertura ainda melhor).
O OpenVAS (alternativa do Nessus) e o Nmap são muito diferentes. Você pode usar o OpenVas para encontrar vulnerabilidades sem saber como procurá-las, já que o OpenVAS experimenta inúmeros ataques coletados de várias fontes, ao passo que você precisa saber o que está fazendo, onde procurar, com o Nmap.