Enquanto a maioria dos computadores hoje em dia tem USB3, você realmente notará uma diferença de velocidade se você estiver limitado a velocidades USB2. Os tempos de inicialização e carregamento são principalmente as áreas afetadas, portanto, se você puder conviver com isso, isso não será realmente um problema.
Há também o desgaste geralmente maior que vem com um dispositivo portátil; portanto, leve em consideração a possibilidade de roubo e perda de dados ao fazer sua escolha.
Fora disso, eu teria dificuldade de conviver com apenas 64GB atualmente (embora eu tenha feito com 43Mb no meu primeiro PC), mas ampliá-lo para uma unidade maior quando disponível não deve ser um problema.Resumindo: As desvantagens não são tão grandes, especialmente se você for usá-lo como um SO secundário ou apenas para testá-lo. Tenho certeza de que você já sabe disso, mas muitas distribuições Linux são feitas para serem compactas e executadas desta forma, então se as limitações não incomodarem você, então eu tenho certeza que você vai gostar.