Eu não sou um especialista em eletrônica, mas tudo que eu já li sobre a conexão de portas seriais a placas que têm pads 3.3V UART dizem para usar um conversor TTL, ou converter a voltagem de alguma forma. Então eu acredito que você realmente precisa de algo para converter para a tensão adequada.
Você pode se safar se você usá-lo apenas para receber dados seriais da UART, mas eu não teria chance disso.