从不定时更新的网页上抓数据的问题

lluxury · 发表于 2011-5-12 11:19:24

数据:
.08时13分、小黑注册。
·08时16分、小雏  注册。
·08时18分、水莲寺璐珈  注册。
·08时18分、周青  注册。
·08时18分、约瑟夫史迪威  注册。
·08时21分、haha  注册。
....
数据类似这样的,不定时更新,但会写出时间
我计划,第5分钟抓一次,把名字写到数据库里,问题是,如何排除后一次抓到的,和前一次重复的数据,求思路

Ziya · 发表于 2011-5-12 11:21:16

每次抓取之后和数据库做一次比较呗
重复的就跳过,不重复的就写入数据库

lluxury · 发表于 2011-5-12 13:02:10

打算,但这样觉得比较太多,想只比较上次的最后一个值,

3mile · 发表于 2011-5-12 13:27:23

不定时更新的数据,只比较最后一个值是不明智的.
个人认为数据以行为单位加入数组stringsplit($str,@crlf,2)后,再_ArrayUnique得到独特数组.

lluxury · 发表于 2011-5-12 14:38:16

3m说的,没大懂,我查下看看,取唯一么,时间消耗如何?

ghl781258 · 发表于 2011-5-12 21:11:42

效率会越来越差

楼上风云 · 发表于 2011-5-12 23:05:18

支持2楼思路，不过与AU3并不关联很多，运用数据库同时引入索引，查找比较速度很快的

lluxury · 发表于 2011-5-13 01:00:28

效率会越来越差
ghl781258 发表于 2011-5-12 21:11

对啊,就担心这个问题

Netfox · 发表于 2011-6-9 00:53:07

又是JS的问题

真会走路的废柴 · 发表于 2011-6-12 08:55:51

这东西你应该在数据库中考虑...

insert 之间先 select 查询一下

		自动登录	找回密码
密码			加入

[IE类操作] 从不定时更新的网页上抓数据的问题

相关帖子