Este é apenas um palpite, mas de acordo com a página de manual "UserName" só é aplicável quando o launchd está sendo executado como root.
tente descarregar o plist se ele já estiver em execução:
launchctl unload /Library/LaunchAgents/com.transmissionbt.transmission-daemon
e, em seguida, execute como root:
sudo launchctl load -w /Library/LaunchAgents/com.transmissionbt.transmission-daemon
Você pode confirmar que ele realmente carrega:
launchctl list | grep transmissionbt
Deixe-me saber se isso funciona para você.