O que impede você de instalar o Jenkins? Se você rodou o container do Ubuntu Docker como você diz, você deve ser capaz de instalar o Jenkins da mesma forma como se fosse uma máquina Ubuntu.
Mas essa não é a maneira de criar imagens, você deve usar um Dockerfile com uma série de instruções do que a imagem deve ser.
Melhor ainda, por que não usar a imagem existente do Jenkins no Docker Hub ? Esta é uma imagem oficial, criada por aqueles que criam Jenkins. Esta deve ser a maneira mais fácil de começar com o Jenkins no Docker (e o caminho certo ).