A principal vantagem do Solaris é o suporte maduro ao armazenamento ZFS, que, entre outras coisas, pode aumentar drasticamente sua IOPS fornecendo um meio de armazenar em cache leituras (L2ARC) e gravações (ZIL) usando SSDs corporativos. Parece que isso pode ser altamente relevante para sua situação.
A principal vantagem do Linux é o suporte maduro para praticamente todo o resto.
Naturalmente, ninguém está impedindo você de criar seus servidores de armazenamento iSCSI no OpenSolaris (*) e em seus servidores da Web no Linux.
(* ou OpenIndiana ou Nexenta)