Como sou usuário do Mac OS X, adicionei-me ao grupo 'wheel' com base em this answer:
sudo dseditgroup -o edit -a $username_to_add -t user admin
sudo dseditgroup -o edit -a $username_to_add -t user wheel
Seguindo o conselho do @Tonny, reiniciei o sistema e consegui acessar a porta serial. Fazer o logout e logar de volta não parece ser suficiente, eu tive que reiniciar. Então eu poderia acessar a porta serial como eu mesmo.