O H.264 é o atual codec de última geração, oferecerá a melhor qualidade / tamanho e provavelmente estará em uso por algum tempo.
Ogg Theora não é tão poderoso quanto o H.264, mas é completamente aberto e não tem as questões de patentes que o H.264 tem ( link ). Theora também está sendo usado pelo Firefox para o elemento HTML5, então provavelmente ficará por um tempo.
O Dirac é outro codec que você pode considerar. Como o Theora, é um padrão aberto, mas pretende ter qualidade comparável ao H.264. Ele está sendo ativamente desenvolvido pela BBC, mas ainda não está em uso generalizado.
Não há uma melhor resposta, mas para uma boa qualidade e uso futuro eu escolheria um desses três. Neste ponto, eu só usaria o XviD se eu precisasse reproduzir o vídeo em dispositivos legados.