Python é uma linguagem de script interpretada. Você não apenas distribui os arquivos .pyc intermediários porque eles são compilados para o seu sistema e não farão sentido em outro lugar. Você distribui a fonte e isso é compilado na hora.
Isso não quer dizer que você não pode simplesmente distribuir arquivos .pyc. PEP 3147 permite isso e define uma estrutura, mas tem um custo e eu não sou mesmo que pare de regenerar a fonte (através de vários métodos de introspecção) - mas não é para isso que o Quickly foi projetado; não vai ajudar você a construir um pacote como esse.
Se você está tentando distribuir um aplicativo de código fechado, há coisas como py2exe (somente para Windows) e bbfreeze (todos) mas nenhum deles é perfeito ou completamente irreversível. Você pode consultar os métodos de ofuscação se quiser proteger ainda mais sua fonte.