matthew gray,world wide web wanderer的创造者
要点
- matthew gray最初创建world wide web wanderer来追踪服务器,但在所有用途中,它在追踪url方面最受欢迎。
- 他将数据库命名为wandex,不要与俄罗斯搜索引擎yandex混淆。wandex被认为是第一个web数据库。
- world wide web wanderer在是否机器人对互联网有积极影响引起了一场辩论。matthew gray在成为google的软件工程师之前,创建并与几家重要的web开发公司合作。
什么是world wide web wanderer?:解释
world wide web的卓越想法是由cern的物理学家tim berners-lee在1989年春季构思出来的,但直到1993年初,出色的ncsa mosaic web浏览器的推出,它才得到广泛的普及。
1993年春季,就在mosaic发布几个月后,matthew gray在麻省理工学院(mit)学习物理学,并且是学生信息处理委员会(sipb)的三名成员之一,他们创建了网站www.mit.edu。他决定编写一个名为world wide web wanderer的程序,以系统地遍历web并收集站点。
wanderer于1993年春季首次具备功能,并成为第一个自动化web代理(蜘蛛或网络爬虫)。它当然没有访问到web上的每个站点,但它使用一致的方法运行,希望为web的增长提供一致的数据。
wanderer使用perl语言编写。在爬行web时,它生成了一个名为wandex的索引,这是第一个web数据库。最初,wanderer只计算web服务器,但在引入后不久,它开始捕获url。
matthew gray的wanderer当时引起了很大争议,部分原因是程序的早期版本在web上猖獗运行,导致明显的网络性能下降。这种下降是因为它每天会访问同一页数百次。wanderer很快改正了它的方式,但关于蜘蛛对互联网是好还是坏的争议一直存在一段时间。
wanderer显然不是互联网上的第一个搜索引擎,那是alan emtage的archie,但wanderer是第一个web机器人,并且凭借其索引wandex,显然有成为第一个通用web搜索引擎的潜力,早于yahoo、google或yandex数年。然而,mathew gray并没有提出这个说法,他始终表示这不是它的目的。wanderer激发了许多程序员追随网络机器人的想法。
world wide web wanderer与webcrawler的区别
webcrawler由brian pinkerton于1994年创建,被认为是第一个真正由网络爬虫驱动的搜索引擎。虽然有人可能认为wandex有潜力成为这个头衔,但它从未被设计成以此方式使用。wandex缺乏一些关键功能,使其成为一个通用的搜索引擎。
webcrawler的一个主要创新是其全文搜索能力。这种能力使它受欢迎且功能强大。尽管不如google、yahoo、bing、yandex或baidu受欢迎,但它仍然作为一个搜索引擎运行。
world wide web wanderer发布历史
最初,马修(matthew)主要动力是发现新的网站,因为当时的互联网还是一个相对较小的地方(截至1993年world wide web wanderer开始日期,全世界的网站总数约为100个;到1995年6月,尽管互联网增长迅猛,但网页服务器的数量也增加到每270台设备中有一台是网页服务器)。随着1993年之后互联网的快速发展,重点很快转变为绘制其整个增长过程。
world wide web wanderer:开发结束
尽管world wide web wanderer作为网络爬虫有许多用途,但它在1995年被停用。马修·格雷(matthew gray)继续在行业中工作,自world wide web wanderer最初开始日期以来,许多其他网络爬虫和机器人已经被设计出来。
接下来…
想要了解更多关于改变历史进程的令人惊叹的技术进步吗?在这些文章中阅读更多相关内容。
- twitter: complete guide ‚Äî history, products, founding, and more: 它最初只是一个被apple itunes所忽略的播客的附带功能。然而,它并没有遭遇同样的命运,反而取得了巨大的成功。以下是它的发展历程。
- facebook: complete guide — history, products, founding, and more: 创建过程几乎让马克·扎克伯格陷入麻烦。了解这个有史以来最成功的社交媒体形式的故事。
- napster指南:历史、起源等: 它于1999年推出,旨在实现音乐文件的免费分享。到2000年,它已经拥有2000万用户。然而,一系列的诉讼导致了它的衰落。在这里了解它的故事。