Re: PBXT vs XtraDB (InnoDB)
Fiz essa pergunta diretamente a Paul McCullagh. Você pode ler a resposta dele aqui:
Parafraseando: o PBXT é um mecanismo de OLTP genérico, portanto, ele se sobrepõe consideravelmente ao InnoDB. A maioria dos 'casos de uso melhor' diretos ainda não são conhecidos.
Re: TokuDB vs XtraDB (InnoDB)
Acho que isso é um pouco diferente. Embora o TokuDB tenha algumas propriedades que podem ser boas para o OLTP, ele realmente brilha:
a) Quando você está lidando com tantos dados, suas inserções diminuem a velocidade de seus índices não mais se encaixam na memória (um problema 'clássico' de B-Tree para o qual o TokuDB não sofre).
b) Quando você precisa ter muitos índices ad hoc nos dados.
Vadim fala sobre isso aqui: link
-
A partir de sua descrição, vou talvez supor que o XtraDB e o PBXT são as escolhas mais óbvias. Ambos irão funcionar. Em favor do XtraDB é que já existe há mais tempo.
(Disclaimer: Eu trabalho para Percona, autores do XtraDB).