Eu não tentei essas etapas exatas, mas acho que isso deve funcionar. Primeiro, desinstale qualquer versão atual da tocha e da visão da tocha (ou, melhor ainda, use um ambiente virtual Python ou um novo ambiente Conda).
Em seguida, instale a última versão da tocha do GitHub usando:
pip install https://github.com/pytorch/torch/archive/master.zip
Em seguida, instale a versão mais recente do tocha-visão do GitHub se você precisar usando:
pip install https://github.com/pytorch/vision/archive/master.zip
Eu olhei para o campo de requisitos em setup.py
e não acho que deva haver problemas de dependência.
Você não poderá usar o pip para atualizá-lo no futuro, mas poderá desinstalá-lo facilmente com pip uninstall
e, em seguida, instalar a versão mais recente usando as mesmas etapas.