Você precisa criar um registro A ou um CNAME para dev.example.com no seu DNS (ou um registro curinga para * .example.com). O Apache não pode fazer nada com pedidos para dev.example.com se eles não puderem acessar seu servidor da Web, o que eles não poderão fazer a menos que haja um registro DNS que seja resolvido para dev.example.com.