Você está certo, as DLLs do seu aplicativo são carregadas sob demanda em tempo de execução e elas permanecerão carregadas a menos que o sistema fique sem memória.
Portanto, se você iniciar o mesmo programa várias vezes, a segunda execução será mais rápida como um benefício das bibliotecas pré-carregadas .
Por favor, dê uma olhada :
Noções básicas sobre inicialização a frio e inicialização a quente
Cold startup occurs when your application starts for the first time after a system reboot, or when you start your application, close it, and then start it again after a long period of time. When an application starts, if the required pages (code, static data, registry, etc) are not present in the Windows memory manager's standby list, page faults occur. Disk access is required to bring the pages into memory.
Warm startup occurs when most of the pages for the main common language runtime (CLR) components are already loaded in memory, which saves expensive disk access time. That is why a managed application starts faster when it runs a second time.