Às vezes, você pode obter uma falha de segmentação ao tentar instalar o software que foi baixado manualmente do interspiderweb com bugs. A falha na RAM também pode causar falhas de segmentação, como fkraiem mencionou em um comentário, mas eu não acho que isso é o que está acontecendo aqui, porque se um stick de RAM falhar, isso causaria problemas no host do Windows também.
O Qt5 vem com seu próprio Ambiente de Desenvolvimento Integrado (IDE), chamado Qt Creator, então a instalação do qt-opensource-linux-x64-5.6.3.run não é necessária. A maneira mais fácil de instalar o Qt5 é instalar o qtcreator a partir dos repositórios padrão do Ubuntu. Abra o terminal e digite:
sudo apt install qtcreator # installs Qt 5.5.1 in 16.04
Se a versão mais recente do Qt5 for crítica, você pode obter o Qt Creator baseado no Qt 5.9.1 no Ubuntu 17.10 ou esperar que o Ubuntu 18.04 seja lançado e tenha o Qt Creator baseado no Qt 5.9.3.