Se você sabe que está vinculado ao armazenamento, os comparativos de mercado em seu servidor não lhe informarão o quanto você precisa. Eles só podem dizer o quão rápido você pode ir enquanto sujeito ao armazenamento limitado. Para obter a resposta que você está procurando, você precisa, se possível, isolar as diferentes maneiras de controlar o armazenamento e testá-las de forma independente.
IOPS é, naturalmente, o limite fácil que todos falam, porque os discos são ruins em busca e os bancos de dados gostam de procurar. Hoje em dia, com cache e SSD, as leituras de busca aleatória de bloco pequeno IO são muito mais fáceis do que costumavam ser. Uma pequena camada de SSD e um grande cache provavelmente garantirão que, se realmente for IOPS (para o tipo de "busca" de bloco pequeno, esse é o seu gargalo, você não estará mais sujeito a isso. Tenha cuidado com esses benchmarks, no entanto, você lerá todos os tipos de números irreais, já que as pessoas medem o número de OIs que podem fazer diretamente para o cache não espelhado. Isso não vai ajudar o seu servidor linux.
Outro tipo de limite de armazenamento é a largura de banda ou a taxa de transferência. Este é difícil de isolar, mas se você sabe quantos dados está tentando ler ou escrever e sabe quanto tempo leva agora, escolha um novo alvo de tempo, e esse será seu novo número. Por exemplo: se você observar seu aplicativo gastando 4 horas para fazer um backup grande ou algo assim, e no final dele, ele é movido 9 TB, que informa seu limite atual de transferência: cerca de 650 MB / s. Se você quiser mover 18 TB nesse tempo, precisará de 1300 MB / s. Na maioria das vezes, ethernet, fibra e SAS podem ser configurados para serem mais rápidos que o hardware de armazenamento. A capacidade do armazenamento de manter essa camada de transferência cheia geralmente é o verdadeiro gargalo. Você deseja examinar o número de portas front-end e os números de referência com o espelhamento de cache ativado (para garantir que não haja afunilamento entre os controladores espelhando as gravações em cache).
Por último, você pode ser limitado pela configuração de armazenamento ruim em termos de filas SCSI. Isso não é ridiculamente comum, mas é definido por não conseguir empurrar seu hardware de armazenamento tão rápido quanto deveria. Se você estiver vendo uma latência de 500 ms em gravações do host, mas seu armazenamento relatar um total de 3ms em cache de 100%, isso pode ser um problema com filas SCSI insuficientes no destino. Basicamente, o iniciador SCSI está aguardando até 500 ms para liberar um slot na fila que pode usar para receber solicitações. Você deseja perguntar ao seu fornecedor de armazenamento as melhores práticas sobre as configurações de profundidade da fila do host e a taxa de difusão para isso.
Espero que isso ajude, sei que não é uma resposta tão simples quanto você esperava.