O aplicativo padrão para fazer isso é logrotate . O arquivo de configuração tem alguns exemplos sobre como girar. Mas algo assim:
/var/log/mail.log
{
rotate 7
daily
missingok
notifempty
delaycompress
compress
postrotate
reload mail.log >/dev/null 2>&1 || true
endscript
}
para uma rotação de 7 dias.
Mas! Dê uma olhada no seu mail.log e veja se o que é colocado lá não é um ERRO ou alguém abusando do seu sistema como um relay para enviar spam.