Não, isso não é possível apenas com a exportação regular de Jira. Você pode escolher o formato, mas para anexos ele só imprimirá o nome do anexo.
Para obter esse tipo de funcionalidade, você precisará criar um script que possa se conectar à API do Jira e extrair os dados e anexos dessa maneira, para que você possa remontá-los da maneira que quiser, mas isso não é tarefa simples.
Você também pode sugerir isso como um novo recurso diretamente no site da Atlassian: link para que eles considerem adicionar isso para versões futuras.