Memória inativa é basicamente um cache, o que torna as operações consecutivas mais rápidas. Por exemplo, isso torna o segundo lançamento do Firefox significativamente mais rápido do que o primeiro.
Você pode ter certeza de que isso não torna o sistema mais lento. Quando há necessidade de RAM, o Linux (o kernel) pode soltá-los imediatamente.
Então, na verdade, o que você pensa como uma deficiência é, na verdade, uma peça de engenharia bastante surpreendente. Referência obrigatória: "Linux comeu minha RAM!"