Existe uma versão para Linux do MATLAB. A instalação é bem simples .
O que você tem (o .exe) é um instalador para a versão do Windows. Mesmo se você pudesse executá-lo sem o Wine, seu conteúdo é para o Windows, não para o Ubuntu. Não vai funcionar.
Com o Wine, deve ser possível fazer isso funcionar , mas é muito provavelmente vai ser mais lento do que uma instalação nativa. Se você está fazendo grandes coisas, isso será uma desvantagem real.
Eu me concentraria em conseguir a versão correta. Para o MATLAB, aparece a mesma licença para qualquer plataforma, portanto, se você tiver uma, deve ser possível (não sei ao certo como isso será possível na prática) para obter o instalador correto. Fale com a MathWorks ou com o seu fornecedor e veja se eles podem ajudar.