Porque:
- Muito, muito coisas ruins acontecerão se alguém obtiver acesso não autorizado à sua rede de armazenamento
- Coisas muito, muito ruins acontecerão se você tiver seu tráfego iSCSI não separado, e alguém achar uma ótima ideia mexer na topologia STP em um comutador de borda, com o resultado de toda a sua rede E do seu subsistema de armazenamento de uma só vez
- Muito, muito coisas ruins acontecerão se o projeto da rede iSCSI não for feito com cuidado. Mantê-lo em VLANs isoladas torna muito mais difícil fazer algo tolo, como tentar transportar tráfego iSCSI através de um roteador ou firewall (não deve haver nenhum roteador ou firewall em uma rede iSCSI)
- Muito, muito coisas ruins acontecerão se o seu administrador de armazenamento / virtualização quiser implementar quadros jumbo, e seu administrador de rede não quiser implementar quadros jumbo. Manter o iSCSI separado em switches dedicados evitará que isso aconteça. Até mesmo o compartilhamento de switches com tráfego de rede regular impedirá a incompatibilidade de MTU, já que você só aumentaria o MTU nos switches que tem tráfego iSCSI - não nos switches conectados.
Eu provavelmente poderia listar mais motivos, mas acho que é o suficiente para ter uma ideia. Não misture o tráfego iSCSI com qualquer outro tipo de tráfego nas mesmas portas. Se você tiver switches decentes, vá em frente e compartilhe a estrutura do switch com outro tráfego, mas mantenha o iSCSI em portas separadas em VLANs separadas.