Você terá que procurar em seu arquivo php.ini , em [mail function] . Aqui, o caminho para o envio de correio binário é especificado. O que quer que seja especificado aqui, a função mail() no PHP irá usar.
sendmail_path = /usr/sbin/sendmail -t -i
O acima deve ser o padrão. Então, se você não mudou nada, o PHP usará sendmail .
Como @JdeBP menciona, você também pode dar uma rápida olhada nos cabeçalhos dos e-mails recebidos. Se você olhar sob as várias seções de Received , encontrará alguma identificação do software de servidor que está sendo usado.