有效爬虫

  •  Facebook External Hit,

    Facebook External Hit

    Facebook 允许其用户向其他 Facebook 用户发送有趣的网络内容的链接。这在 Facebook 系统上的部分工作原理涉及临时显示与 Web 内容相关的某些图像或详细信息,例如网页标题或视频的嵌入标签。Facebook 系统仅在用户提供链接后才会检索此信息

    Facebook External Hit

    2022-05-15 09:20
    79
  •  Feed fetcher,google feed,google feedfetcher,

    Google Feed fetcher

    当用户选择将它们添加到他们的谷歌主页或谷歌阅读器时,谷歌使用它们来抓取 RSS 或 Atom 提要。Feedfetcher 会收集并定期刷新这些用户发起的提要,但不会在博客搜索或 Google 的其他搜索服务中将它们编入索引(提要仅在被 Googlebot 抓取后才会出现在搜索结果中)。

    Feed fetcher google feed google feedfetcher

    2022-05-15 09:20
    22
  •  Google Plus,google,google plus share,

    Google Plus Share

    Google Plus 可让您在 Google 搜索上与朋友、联系人和网络其他人分享推荐。+1 按钮有助于初始化 Google 的即时分享功能,它还提供了一种方式,让您公开批准某些内容。

    Google Plus google google plus share

    2022-05-15 09:18
    25
  •  搜狗蜘蛛,sogoubot,

    搜狗蜘蛛 sogoubot

    搜狗是一个中文搜索引擎。它于 2004 年 8 月 4 日推出。截至 2010 年 4 月,它在 Alexa 的互联网排名中排名第 121 位。搜狗提供了多达 100 亿个网页的索引

    搜狗蜘蛛 sogoubot

    2022-05-15 09:18
    19
  •  Exabot,

    Exabot

    Exabot 是 ExaLead 在法国的爬虫。ExaLead 由搜索引擎先驱 Dassault Systèmes 于 2000 年创立,提供搜索和统一信息访问软件

    Exabot

    2022-05-15 09:17
    27
  •  Soso Spider ,soso,

    Soso Spider

    搜搜搜搜是腾讯控股旗下的中文搜索引擎,以另创QQ而闻名。根据 Alexa Internet 的数据,截至 2012 年 5 月 13 日,搜搜网在全球访问量排名第 36 位,在中国访问量排名第 13 位。Soso.com 平均每天获得 21,064,490 次页面浏览量

    Soso Spider soso

    2022-05-15 09:16
    38
  •  Yandex Bot,Yandex,

    Yandex Bot

    2010 年 10 月退役并更名为 Bingbot,这是一种网络爬行机器人(互联网机器人的类型),由 Microsoft 部署以提供 Bing(搜索引擎)。它从 Web 收集文档以构建 Bing(搜索引擎)的可搜索索引

    Yandex Bot Yandex

    2022-05-15 09:16
    71
  •  Bingbot ,MSN Bot,

    MSN Bot/Bingbot

    2010 年 10 月退役并更名为 Bingbot,这是一种网络爬行机器人(互联网机器人的类型),由 Microsoft 部署以提供 Bing(搜索引擎)。它从 Web 收集文档以构建 Bing(搜索引擎)的可搜索索引

    Bingbot MSN Bot

    2022-05-15 09:15
    29
  •  Googlebot,

    Googlebot

    Googlebot 是 Google 的网络爬虫机器人(有时也称为“蜘蛛”)。Googlebot 使用算法过程:计算机程序确定要抓取哪些网站、多久抓取一次以及从每个网站抓取多少页面。Googlebot 的抓取过程从网页 URL 列表开始,该列表由之前的抓取过程生成,并由网站管理员提供的站点地图数据进行扩充。当 Googlebot 访问这些网站中的每一个时...

    Googlebot

    2022-05-15 09:15
    29
  •  Baiduspider,

    Baiduspider

    Baiduspider是百度中文搜索引擎的机器人。百度(中文:百度;拼音:Bǎidù)是领先的中文网站、音频文件和图像搜索引擎。

    Baiduspider

    2022-05-15 09:14
    28