A única solução "sem módulos" é não ter o recurso. Se a localização não existir, o Apache retornará um 404.
Caso contrário, você precisará usar mod_alias ou mod_rewrite. mod_alias é a solução mais simples e eficiente:
Redirect 404 /your/url/path
Você usa isso dentro do seu vhost, não é necessário colocá-lo em um bloco de localização.
Você também pode usar a diretiva RedirectMatch
se não quiser corresponder URLs abaixo de /your/url/path
:
RedirectMatch 404 ^/your/url/path$
Isso e muito mais podem ser lidos na documentação do mod_alias