Acho que o wireshark não tem como pedir uma senha ao configurar o caminho do arquivo da sua chave privada, portanto, as chaves particulares criptografadas não são suportadas. Você pode tentar descriptografar a chave antes:
openssl rsa -in jetty_server.key -out jetty_server.key.unencrypted
Em seguida, defina "jetty_server.key.unencrypted" como sua chave privada nas preferências do wireshark, como você fez com a criptografada.
ps: feliz que funcionou:)