Você precisa usar um plug-in que possa simular o login, como webinject ou check_selenium ou exponha uma página de status do seu aplicativo da web. Você pode ter uma página estática que você pode verificar por algum código de status (usando check_http).
Se você quiser se interessar, você pode expor algum status via JMX e usar um dos muitos Plugins JMX . Esta provavelmente seria a maneira "correta" de fazê-lo, mas também a maior parte do trabalho.