De acordo com a documentação do HideFiles, o HideFiles apenas fornece arquivos "ocultos". realmente não os esconde. Para ocultá-los, você precisa usar IgnoreHidden dentro de um bloco de limite. Então, tente isto:
<Directory /home/ftp_user/my_project>
HideFiles ^\.svn$
<Limit ALL>
AllowUser ftp_user
IgnoreHidden on
</Limit>
</Directory>