lluxury 发表于 2011-5-12 11:19:24

从不定时更新的网页上抓数据的问题

数据:
.08时13分、小黑 注册。
·08时16分、小雏注册。
·08时18分、水莲寺璐珈注册。
·08时18分、周青注册。
·08时18分、约瑟夫史迪威注册。
·08时21分、haha注册。
....
数据类似这样的,不定时更新,但会写出时间
我计划,第5分钟抓一次,把名字写到数据库里,问题是,如何排除后一次抓到的,和前一次重复的数据,求思路

Ziya 发表于 2011-5-12 11:21:16

每次抓取之后和数据库做一次比较呗
重复的就跳过,不重复的就写入数据库

lluxury 发表于 2011-5-12 13:02:10

打算,但这样觉得比较太多,想只比较上次的最后一个值,

3mile 发表于 2011-5-12 13:27:23

不定时更新的数据,只比较最后一个值是不明智的.
个人认为数据以行为单位加入数组stringsplit($str,@crlf,2)后,再_ArrayUnique得到独特数组.

lluxury 发表于 2011-5-12 14:38:16

3m说的,没大懂,我查下看看,取唯一么,时间消耗如何?

ghl781258 发表于 2011-5-12 21:11:42

效率会越来越差

楼上风云 发表于 2011-5-12 23:05:18

支持2楼思路，不过与AU3并不关联很多，运用数据库同时引入索引，查找比较速度很快的

lluxury 发表于 2011-5-13 01:00:28

效率会越来越差
ghl781258 发表于 2011-5-12 21:11 http://www.autoitx.com/images/common/back.gif


    对啊,就担心这个问题

Netfox 发表于 2011-6-9 00:53:07

又是JS的问题

真会走路的废柴 发表于 2011-6-12 08:55:51

这东西你应该在数据库中考虑...

insert 之间 先 select 查询一下
页: [1]
查看完整版本: 从不定时更新的网页上抓数据的问题