Eu tive esse problema com rasgos de DVDFab (convertendo iso para m4v) sempre que deixei os menus intactos na ISO. Eu obtinha rasgos de 4KB (mesmo apesar do fato de o DVDFab já ter removido a proteção contra cópia). Então, não estou convencido de que isso seja apenas uma questão de proteção contra cópia - acho que é um bug legítimo no Handbrake (que eu digo gentilmente, já que é um software livre!).
Para aqueles ISOs problemáticos, eu carrego os ISOs no DVDFab novamente e removo os menus, então o Handbrake rip vai bem.