जबकि एक दृढ़ निश्चयी व्यक्ति को सार्वजनिक रूप से उपलब्ध सामग्री को स्क्रैप करने से रोकने के लिए कुछ भी नहीं है, आप क्लाइंट की चिंताओं को कम करने के लिए कुछ बुनियादी चीजें कर सकते हैं:
-
उपयोगकर्ता खाते, आईपी पते, उपयोगकर्ता एजेंट, आदि द्वारा दर सीमा... - इसका मतलब है कि आप किसी विशेष उपयोगकर्ता समूह द्वारा एक निश्चित अवधि में डाउनलोड किए जा सकने वाले डेटा की मात्रा को सीमित कर सकते हैं। यदि आपको पता चलता है कि बड़ी मात्रा में डेटा स्थानांतरित किया जा रहा है, तो आप खाता या आईपी पता बंद कर देते हैं।
-
जावास्क्रिप्ट की आवश्यकता है - यह सुनिश्चित करने के लिए कि क्लाइंट के पास एक बेयरबोन स्पाइडर के बजाय एक इंटरैक्टिव ब्राउज़र जैसा कुछ है...
-
आरआईए - अपने डेटा को एक रिच इंटरनेट एप्लिकेशन इंटरफ़ेस के माध्यम से उपलब्ध कराएं। JavaScript-आधारित ग्रिड में ExtJs, YUI, Dojo, आदि शामिल हैं। समृद्ध वातावरण में Flash और Silverlight शामिल हैं जैसे 1kevgriff उल्लेख ।
-
छवियों के रूप में डेटा एन्कोड करें। यह नियमित उपयोगकर्ताओं के लिए बहुत कठिन है, लेकिन आप अपने कुछ डेटा टेबल या मानों को टेक्स्ट के बजाय छवियों के रूप में एन्कोड कर सकते हैं, जो अधिकांश टेक्स्ट पार्सर्स को हरा देगा, लेकिन निश्चित रूप से मूर्खतापूर्ण नहीं है।
-
robots.txt - स्पष्ट वेब स्पाइडर, ज्ञात रोबोट उपयोगकर्ता एजेंटों से इनकार करने के लिए।
उपयोगकर्ता-एजेंट:**
अनुमति न दें:/
-
रोबोट मेटाटैग का प्रयोग करें। यह मकड़ियों के अनुरूप होना बंद कर देगा। यह उदाहरण के लिए Google को आपको अनुक्रमित करने से रोकेगा:
निरोध के विभिन्न स्तर हैं और पहला विकल्प शायद सबसे कम दखल देने वाला है।
