马飞没有把“全国中文网页搜索”写得像已经存在。他如实说明,这是一项小规模公开信息检索实验,目前不对外提供服务,不保存限制目录内容,愿意接受站点管理员的抓取时间与范围要求。
网络中心回复:
实验室和公开论文目录可以保留。凌晨一点到五点访问。
这封简短的许可,成了星辰科技第一份数据边界记录。
对方还附了一份公开目录清单,列出十二个允许访问的路径。按清单抓取以后,程序不再浪费时间猜测哪些页面能进,五小时里有效页面比例反而提高了一倍。马飞把节省下来的电话费算给苏雨桐看,她只在旁边写了一句:尊重退出也能省钱,但别把省钱当成尊重的理由。
到4月底,本地语料增长到六百二十四页。数量很小,问题却成倍增加。
同一篇文章在三个地址重复。
网页更新时间不可靠。
服务器返回的中文编码与声明不一致。
有些页面只有一张图片,程序什么也读不到。
更棘手的是链接重要性。一个页面被许多站点引用,通常更值得排在前面;但在当时的中文网络里,友情链接、镜像目录和人工导航页大量存在,简单计算链接数量会把目录当成最重要的内容。
马飞写出一版迭代评分,又在第二天删掉。
不是算法错,而是样本太少。六百多个页面上的漂亮曲线没有统计意义。
删除前,他把代码复制进“暂停方案”目录,写明停用原因。未来记忆让那套思路看上去极有诱惑,苏雨桐却随手抽了二十个页面,让他盲排。所谓重要性得分最高的五页里,有三页是友情链接目录,一页是镜像站说明。
马飞把测试结果钉在墙上。楼上老板下来借订书机,看完前三行,问他是不是花了两晚证明校园黄页最有学问。
“差不多。”马飞说。
老板笑得整根水管都像在震。
“先别给自己制造高级问题。”苏雨桐说,“用户连中文词都搜不稳,链接排序排得再聪明也没用。”
她把任务拆成三项:编码识别、重复检测、基础相关性。
马飞看着被划掉的链接评分模块,承认她是对的。
他拥有未来最知名算法的方向,却必须忍住提前使用它的冲动。一个系统的成熟,不在于塞进多少未来概念,而在于当下最痛的问题是否被解决。
5月2日凌晨,抓取程序完成第一次无人值守运行。
五小时里连接中断四次,自动恢复三次;一处站点因连续错误被暂停;新增有效页面八十七个,重复页面二十三个,总电话费用控制在预算内。
天快亮时,马飞输入“液体火箭燃烧振荡”。
系统返回六条结果。
第一条正是某高校实验室公开的论文目录,标明了作者和馆藏信息。正文不在网上,但一个读者至少知道该去哪里找。
马飞把查询结果打印出来,贴在日志旁边。
打印纸还热着,字迹却有一行发浅。色带快用完了,马飞拿出来拧紧,勉强又印了一份。他把较清楚的那张寄给最初允许访问的网络中心,背面写明查询来自哪些公开目录;发浅的那张留在墙上。
早上五点零七分,五金店老板下来开门,发现马飞趴在折叠床边睡着了,手边压着电话费清单。老板没有叫醒他,只把墙角那只接漏水的脸盆往管子下挪了挪。
电脑屏幕上还停着六条结果,第一条后面是论文馆藏号。

