Sempre que você se perguntar algo assim, confira o Padrão de Hierarquia do Sistema de Arquivos (FHS). Lá, você encontrará o seguinte entrada:
usr/src : Source code (optional)
Purpose
Source code may be placed in this subdirectory, only for reference purposes
Assim, você pode colocar seus arquivos de origem em subdiretórios de /usr/src
. Dito isto, este é um diretório opcional para que você possa realmente mantê-los onde quiser. O código-fonte não é relevante depois de compilado em um executável, para que o sistema nunca exija que a fonte de algo esteja acessível em um local específico.
Em conclusão: /usr/src
é um local bastante normal, mas sinta-se à vontade para escolher o seu, se preferir.