A partir de sua descrição, o problema pode estar em dois lugares, o Tx pin na caixa Linux pode estar danificado ou o Rx na placa personalizada.
Sugiro verificar a porta serial na caixa do Linux e na placa personalizada, conectando o pino Rx e o Tx juntos na mesma plataforma criando o eco. Isso pode mostrar onde está o problema, na caixa do Linux ou no quadro personalizado.
Você já tentou usar outro fio, talvez o fio esteja quebrado?