Primeiro, existe um arquivo chamado "core" em qualquer parte do seu sistema? Isso pode ter sido gerado pelo Jetty quando ele caiu.
Veja algumas possibilidades:
Sua JVM pode estar se debatendo devido às coletas de lixo frequentes. Você pode testar isso usando uma ferramenta como VisualVM. Se essa GUI não for uma opção, você poderá imprimir as estatísticas do GC em um arquivo de log usando switches da JVM.
Sua JVM pode estar ficando sem espaço de heap. A análise do GC também irá esclarecer essa possibilidade. O que acontece se você aumentar o tamanho do heap?
Meu entendimento é que você não pode realmente ajustar o Jetty como você pode ajustar um servidor J2EE, então isso é provavelmente bom.
A possibilidade final de que algo está errado com seu aplicativo. Você pode usar o seguinte tutorial para depurar aplicativos em execução no Jetty: link .
Boa sorte!