你在你的网站上努力工作。花费数小时完善布局和设计；精心设计语言和写作内容；并无休止地进行编辑，以确保一切都恰到好处。终于，你的努力得到了回报。您拥有一个漂亮、专业的网站，其中包含您引以为豪的内容，可以向潜在客户展示。但潜伏在别处的是一个缺乏创造力的 Web 开发人员，他们正试图窃取您的想法并将其据为己有。我们不只是在谈论剽窃——哦不。这更加复杂并且对您的品牌造成损害。我们谈论的是“内容抓取”。内容抓取是一种非法尝试，在未经所有者许可的情况下，使用自动化软件从合法网站窃取原始内容。这允许网络窃贼在一个完全不同的网站上冒充您的作品作为他们自己的作品。
真实世界的智能网络安全
制造商和思科正在举办一个网络研讨会，探讨制造商面临的各种不同的网络安全问题。该网络研讨会将探讨网络安全威胁的全部范围，包括遗留工业控制系统——其中许多系统在构建时从未考虑过安全性——仍然特别容易受到网络威胁。时间：格林威治标准时间 2016 年 11 月 29 日星期二上午 10:00（伦敦，格林威治标准时间）注册：点击此链接并单击注册按钮。除了不道德之外，它还会对您的品牌产生破坏性影响，包括搜索引擎优化效率降低、网络流量减少、销售损失、访问者参与度降低、页面加载时间减慢、访问者分析不准确、广告收入减少和品牌知名度下降；更不用说恢复重复内容或侵犯版权的昂贵法律战了。内容抓取是网络抓取的一个子集，是一种用于提取网站信息的软件技术。网络抓取工具的主要目标包括ude 航空公司、房地产列表、电子商务网站、博主、数字出版商、目录和分类广告以及金融网站。如您所知，这是一个相当大的问题。事实上，所有网络流量的 46% 是由机器人程序构成的。虽然使用这些机器人的动机各不相同（请注意，几乎没有一个是好的），但 38% 从事网络抓取的公司这样做是为了获取内容。毫不奇怪，您不必成为熟练的黑客就可以窃取内容，因为网上有大量可用的抓取软件。面对这样一个看似无处不在的问题，组织应该如何防御内容抓取？与机器人作斗争
别害怕。有多种解决方案可以帮助阻止网络抓取机器人，从而更好地保护您的网站和内容。网站所有者应考虑基本卫生措施和先进技术。前者包括：IP地址跟踪和拦截：不知道w就无法阻止爬虫呵呵，他们是。跟踪 IP 地址并阻止不良地址。从单个 IP 地址创建速率限制：合法用户不会每秒访问您的网站数千次。需要登录访问或验证码：您以前见过这种技术。虽然机器人擅长自动渗透，但它们不擅长解码图像。使用 CAPTCHA 是您的访问者可能习惯看到的东西，也是您的机器人无法理解的东西。将您的书面内容嵌入图像或 PDF 中：由于爬虫通常使用自动程序搜索 URL，您可以通过放置来保护您的内容您在图像或 PDF 中的文本。使用蜜罐捕获不良机器人：通过建立吸引机器人但客户不太可能点击的链接来智取抓取器。当恶意用户上百次访问时，你阻止他们就可以确定他们只是麻烦。最有效的答案在于使用能够区分和阻止自动广告的产品或服务伪装成人类访客的 erssaries。这些服务代表您保护您的 Web 应用程序，因此您不必担心它是应用程序另一端的人，还是伪装成人类的机器。现代威胁检测和网络防御依赖于适当的了解用户行为以及深入了解自动和恶意攻击。通过结合这两种技术，我们最终能够在爬虫对您的品牌造成损害之前实时阻止爬虫。当然，还有一些反应性方法可以检索您的数据，例如诉讼威胁。数字千年版权法 (DMCA) 提供了通知和停止信件，但在这些攻击发生之前阻止它们比在万维网上搜索任何和所有网络抓取事件要有效得多。保护您的内容
最后，在与内容的斗争中先发制人要好得多废话。了解网络抓取攻击并确保您不会丢失属于您的东西。
