Last Data

Moz 工具
我们刚刚改变了在自定义抓取工具中检测重复或近似重复网页的方式，以便更好地为您服务。我们以前的代码产生了良好的效果，但它在抓取大型网页（超过 85,000 个网页）时可能会崩溃，并且需要很长时间（有时需要数周）才能完成。

现在变更已经生效，您将看到一些重大改进和一些变化：

结果将更快出现（小型抓取最多可快一小时，大型抓取最多可快几天）
更准确地删除重复项，从 波斯尼亚和黑塞哥维那电话号码列表 而减少抓取结果中的重复项
这篇文章深入探讨了我们决定改变自定义抓取方式检测重复和近似重复网页的动机。尽情享受吧！

改进页面相似度测量
我们目前用来衡量两页相似度的启发式方法称为指纹。指纹依赖于将每页转换为 128 个 64 位整数的向量，这样重复或近似重复的页面会产生相同或几乎相同的向量。一对页面之间的差异与两个向量中不相同的对应条目的数量成正比。