Ter mais memória (RAM) sempre ajuda, porque normalmente você precisa de 3x o máximo de memória RAM que a maior imagem quando ela é descompactada. Adicione os requisitos para WINE e Ubuntu e isso é muito ram.
Verifique se está trocando muito para o disco, se tiver, terá pouca escolha a não ser comprar mais memória RAM ou, de alguma forma, alocar mais para o processo. É possível reduzir a memória RAM usada pelo Photoshop (pelo menos em versões mais antigas) - confira as configurações de armazenamento em cache.
Desculpe, não tenho nada mais específico.