Faça o download do pacote apt
correto para a sua versão do Ubuntu, procurando por aqui
Abra o Bash para o Windows 10 e execute o seguinte comando para mostrar sua versão do Ubuntu:
lsb_release -a
A versão atual do Bash for Windows 10 é 14.04 fora da caixa, mas você pode atualizá-lo. Este é o lançamento do apt que você precisa baixar. O Bash no Windows 10 só pode ser instalado em uma versão de 64 bits do Windows 10 Anniversary Update build 14393 ou posterior, portanto, é necessário fazer o download do arquivo amd64 apt.
Instale o apt usando dpkg
sudo dpkg -i apt_1.0.1ubuntu2.13_amd64.deb
O comando acima é se lsb_release -a
retornou o Ubuntu 14.04 e a arquitetura amd64 corresponde à sua arquitetura do Windows.