O melhor conselho é não escalar até que você precise. É um equilíbrio difícil o suficiente para acertar, mas você não quer gastar milhares comprando novo hardware que não é usado, enquanto ao mesmo tempo você não quer que seu sistema (assumindo o sistema de aplicativo único) caia por causa de carga.
Criar gráficos usando algo como cactos é muito útil para observar tendências. Ele mostrará a rapidez com que o espaço está sendo usado, a largura de banda está aumentando, a memória está sendo usada, etc. Se você puder monitorar os tempos de resposta aqui também, ele também dará uma excelente visão de como as atualizações ocorrerão no futuro.
Certifique-se de que seus administradores de sistema falem com as pessoas da aplicação. Há muitas coisas que os designers de aplicativos podem fazer para reduzir a carga em seu cluster / farm. O mesmo acontece quando há muitas coisas que eles podem fazer que acabarão com a carga. Os desenvolvedores inteligentes devem ser capazes de fornecer pontos de lentidão (por meio da criação de perfil de código), o que ajudará os administradores a decidir onde gastar mais tempo aumentando a velocidade.