O padrão atual da indústria em termos de qualidade e compressão é o H.264, também chamado de MPEG-4 AVC. Aqui está uma performance revisão de vários codecs H.264. Como qualquer codec, o resultado final é uma combinação da qualidade do material de origem e as configurações usadas pelo codificador ... e, em menor escala, as configurações usadas pelo decodificador também. Os melhores resultados serão obtidos ajustando as configurações do codificador caso a caso. A maioria das pessoas não tem esse tipo de tempo livre, portanto, elas começam com as configurações padrão e experimentam até encontrar as configurações que atendem às suas necessidades.
Existem vários bons rippers de dvd. Handbrake, já mencionado é um deles. Dependendo da distro que você está usando, a maioria dos rippers de DVD serão encontrados nos repositórios "sujos", o que significa que seu uso é legalmente questionável, então eles são mantidos separados dos aplicativos tradicionais. Você também encontrará muitos codecs além do H.264 nesses repositórios. Não se engane, um ripper de DVD é uma clara violação do DCMA. Ele contorna um mecanismo de proteção de direitos autorais. Criar ou possuir um expõe a possibilidade de ações civis ou até mesmo acusações criminais. (Mesmo fora dos EUA)
Pessoalmente acho o DCMA draconiano e uma violação das liberdades civis, mas até que seja revogada ou derrubada, eu tomaria cuidado.