A solução é mudar a extensão de mp4 para m4v. O Quicktime não pensa que o aac + ac3 é um formato de áudio válido para o mp4, mas acha que é bom para o m4v.
A solução foi neste comentário nos fóruns do handbrake:
Re: Quicktime error: invalid sample description
by twoodinto » Sun Mar 09, 2008 4:08 pm
I started to have this problem with 0.9.2 after encoding AAC+AC3 audio. Working too late at night I did not realize that handbrake had not reset the extension from mp4 to m4v. Changing this after the fact works and the files that would only play in VLC now work in quicktime player.