Suas funções são basicamente as mesmas, mas as sutis diferenças são baseadas em onde elas estão localizadas no mailchain, portanto elas suportam usos diferentes.
Servidor SMTP é um pouco genérico e pode significar qualquer servidor que utilize o protocolo SMTP. No entanto, nesse contexto, significa o servidor ao qual um cliente de email (por exemplo, o Thunderbird) se conecta para enviar o email. Além de ser o primeiro ponto pelo qual o e-mail passa, ele também é o último, pois os servidores SMTP são responsáveis por entregar o e-mail a uma caixa de correio (POP3 ou IMAP, geralmente).
SMTP Relay é um termo mais específico. Pense nisso como um recurso de classificação da agência postal - Ele lida com mensagens provenientes de outros servidores, como o servidor SMTP acima. Em seguida, ele passa na direção certa para outros servidores SMTP.
Para simplesmente enviar o e-mail, você não precisa de um servidor de retransmissão. Além disso, recomenda-se não permitir a retransmissão, a menos que você realmente precise, pois uma retransmissão SMTP pode ser abusada por spammers.