É possivelmente um problema de contêiner, copiando-o para um novo formato de contêiner com
avconv -i input.ts -c copy output.mp4
pode corrigir seu problema. Isso será 100% sem perdas. Se isso não funcionar, um crf de 18 é normalmente considerado 'visualmente sem perdas'; você pode definir isso é HandBrake (na aba 'video'), ou com avconv:
avconv -i input.ts -c:a copy -c:v libx264 -crf 18 -preset veryfast output.mp4
As predefinições são: ultra rápidas, super rápidas, muito velozes, rápidas, rápidas, médias, lentas, lentas, muito lentas. Quanto mais lenta a predefinição, menor o arquivo (mas com um aumento no tempo de codificação). Em minha experiência pessoal, descobri que o maior declínio em termos de tamanho de arquivo é entre super rápido e muito rápido, depois disso parece ser muito mais incremental.
NOTA: Se você quiser, o ffmpeg pode fazer tudo o que o avconv pode fazer, com uma sintaxe idêntica (simplesmente substitua todas as instâncias do avconv pelo ffmpeg).
FOOTNOTE: Você pode encontrar o este guia de codificação ffmpeg x264, útil para obter mais informações.