Os sites de download do YouTube determinam a localização do arquivo FLV que é veiculado por meio do player do YouTube. Essencialmente inverter engenheiros o Java (e agora HTML5) que serve o vídeo e obtém a fonte.
Em seguida, ele solicita que o navegador inicie o download desse arquivo FLV ou o converte na nuvem para você fazer o download no formato desejado. Tudo isso está sendo feito com VBScript ou Visual Basic e Java.
O motivo pelo qual você não pode visualizar o arquivo de origem no código-fonte da página é porque o YouTube não veicula o arquivo em HTML em texto sem formatação, ele faz isso usando o player de vídeo no back-end.