O direito de acessar uma porta serial é determinado pelas permissões do arquivo do dispositivo (por exemplo, /dev/ttyS0 ). Então, tudo que você precisa fazer é providenciar que o dispositivo seja de sua propriedade, ou (melhor) se colocar no grupo que possui o dispositivo, ou (se o Fedora suportar isso, o que eu acho que faz) providenciar para o dispositivo pertencem ao usuário que está logado no console.
Por exemplo, no meu sistema (não no Fedora), /dev/ttyS0 é de propriedade do usuário root e o grupo dialout , então para poder acessar o dispositivo serial, eu adicionaria o dialout group:
usermod -a -G dialout MY_USER_NAME