Você terá que escrever algum código C, conforme descrito no documento do kernel .
#include <linux/serial.h>
struct serial_rs485 rs485conf = {0};
int fd = open ("/dev/ttyACM0", O_RDWR);
if (fd < 0)...
rs485conf.flags |= SER_RS485_ENABLED;
if (ioctl (fd, TIOCSRS485, &rs485conf) < 0)...