Se você simplesmente movê-lo / removê-lo, provavelmente ficará preso a um identificador de arquivo aberto que continua sendo gravado, mas não verá mais o arquivo.
Este é um log binário, que é usado para replicação, e você também pode usá-los para coisas como backups incrementais, pois mantém um histórico de todas as transações.
Se você não quer o arquivo lá, você tem que comentar a linha my.cnf que diz
log-bin=/var/log/mysql/mysql-bin.log
Em seguida, reinicie (ou recarregue) o MySQL. Enquanto não estiver usando ativamente, você estará seguro para removê-lo.