Se você copiar o conteúdo do DVD para uma pasta, ele deverá ser tratado como um DVD. Se você selecionar a pasta e pressionar play, ela será lançada como um dvd; se você usar o botão "enter", ele listará o conteúdo da pasta.
Eu tenho XBMC rodando em um Mac mini rodando OS X, e gostaria de fazer nossos DVDs (e eventualmente nossas fitas de vídeo) acessível, para que nossa filha de cinco anos possa começar seus filmes sozinha.
Primeiro tentei copiar o conteúdo de dados do DVD, mas o XBMC não faz mágica quando encontra essas pastas. É jogável, mas é mais como escolher um nome de arquivo, não escolher um filme.
Em seguida, vou tentar um arquivo .ISO direto, mas espero que outra pessoa tenha passado por essa estrada e tenha algumas dicas. Estou mais confortável com as ferramentas do Linux, mas se houver um programa melhor no Windows ou no OS X, eu verifico.
Acho que o que você está procurando é um dvd ripper. Depois de um pouco de googling MacTheRipper parece ser muito bom para OSX. Você deve conseguir ripar o dvd para um .avi e colocá-lo em algum lugar onde o XBMC o encontre.