Os termos "daemon" e "servidor" podem ser usados de forma intercambiável para qualquer processo executado em segundo plano e que forneça um serviço.
Um daemon, como você aponta, geralmente não está associado a um TTY, mas isso também vale para a maioria dos servidores. Esse detalhe técnico é menor, pois não há uma definição que forneça uma distinção clara entre os dois termos que é aplicável à maneira como os termos são usados na linguagem cotidiana.
Além disso, um daemon age como servidor quando um cliente acessa seus serviços (no paradigma servidor-cliente). Novamente, o termo "servidor" e "daemon" são intercambiáveis sobre a mesma entidade.
O termo "servidor" também está associado a um host (máquina) que fornece um serviço, como um servidor de arquivos (que pode estar executando um daemon NFS).