Você pode eliminar o relatório de erros de find com 2>/dev/null ou pode evitar a execução do comando:
test -d /my-directory && find /my-directory -type f -mtime +14 -print0 | xargs -r0 rm
Como uma pequena otimização e um código mais claro, algumas versões do find - incluindo o seu - podem executar o rm diretamente para você:
test -d /my/directory && find /my-directory -type f -mtime +14 -delete