找回密码
 加入
搜索
查看: 6831|回复: 15

[网络通信] RMB30求大神帮忙抓取网页数据

[复制链接]
发表于 2016-8-16 00:31:29 | 显示全部楼层 |阅读模式
这个网址我只能一次抓取到50期数据,我想一次抓取到200期数据,但不知道如何弄,总是定位不到url,请大神不吝赐教,事成之后支付宝直接转账30!
http://chart.ydniu.com/trend/k3bj/

网页右上角有期数选择,但我不知道该如何弄

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?加入

×
发表于 2016-8-16 08:34:41 | 显示全部楼层
浏览器是IE吗?
发表于 2016-8-16 09:32:57 | 显示全部楼层
公司打不开,不能及时帮忙了
发表于 2016-8-16 09:36:59 | 显示全部楼层
把这段的网页源码贴一下
发表于 2016-8-16 09:39:32 | 显示全部楼层
本帖最后由 nmgwddj 于 2016-8-16 10:19 编辑

回复 1# 黑色de郁金香

这是一个时时获取数据的页面,点击 200期 按钮后会发送一个 POST 请求从后台拿数据到前台展示,有两种方法。

一种发 POST 请求,直接取结果,比较麻烦(对我来说)。
另一种是模拟点击 200期 按钮,再从页面上取数据,相对简单(参考下面代码)。


_IENavigate($oIE, "http://chart.ydniu.com/trend/k3bj/", 0)

Sleep(2000)

; 获取 id 为 filters 的 dom
Local $domParent = _IEGetObjById($oIE, 'filters')
; 得到该元素下面的所有子元素
Local $childrenNodes = $domParent.childNodes

; 遍历子元素判断哪个是 200
For $child In $childrenNodes
        If $child.getAttribute('value') == 200 Then
                ; 模拟点击 200 期按钮
                $child.click()
        EndIf
Next

; 等2秒
Sleep(2000)

; 按你原来获取 50 的方法再获取就可以了。


直接 POST 请求数据


$sPostData = 'method=GetTbodyHtml&type=fbzs&index=2'
$oHTTP = ObjCreate("WinHttp.WinHttpRequest.5.1")
$oHTTP.open('POST', 'http://chart.ydniu.com/Trend/k3bj.aspx?', False)
$oHTTP.setRequestHeader('Content-Type','application/x-www-form-urlencoded')
$oHTTP.Send($sPostData)
$Respond = BinaryToString($oHTTP.ResponseBody, 1)

FileWriteLine('result.txt', $Respond)
发表于 2016-8-16 14:04:19 | 显示全部楼层
回复 5# nmgwddj


    请问firefox中如何操作table对象?
发表于 2016-8-16 15:59:53 | 显示全部楼层
回复 6# ysping


    IE、Firefox、Chrome,都遵循 W3C 大标准,使用常规 JavaScript 方法均可以操作。
    参考 :
    http://www.runoob.com/htmldom/htmldom-tutorial.html
    http://www.runoob.com/js/js-tutorial.html
发表于 2016-8-16 16:17:07 | 显示全部楼层
回复 7# nmgwddj


    没学过js
发表于 2016-8-16 16:17:38 | 显示全部楼层
能举个例子吗?
发表于 2016-8-16 17:28:04 | 显示全部楼层
回复 9# ysping


    http://www.multisilicon.com/blog/a34212751.html
    这个属于 AU3 的扩充知识了,下一套 JavaScript 的视频,花一周的时间好好学习一下,学完你会发现惊喜很多,一定不会白费这些学些的时间。
发表于 2016-8-17 09:25:16 | 显示全部楼层
回复 10# nmgwddj

好的,找时间学习一下JS,有没有推荐的比较好的视频教程?
有AU3中使用JS的例子吗?
发表于 2016-8-17 09:32:08 | 显示全部楼层
回复 7# nmgwddj


    有用过IE11改变cookies路径 多帐号登入么?
发表于 2016-8-17 11:14:17 | 显示全部楼层
回复 12# 1361739590


    没研究过。
发表于 2016-8-17 11:23:41 | 显示全部楼层
回复 11# ysping


    链接: http://pan.baidu.com/s/1c2sl5dQ 密码: 3v3s
    看完 20150807 之前(包含)的所有视频你就基本上对 DOM 控制游刃有余了,基本需求都可以实现。
发表于 2016-8-17 11:31:46 | 显示全部楼层
回复 14# nmgwddj


    谢谢了!
您需要登录后才可以回帖 登录 | 加入

本版积分规则

QQ|手机版|小黑屋|AUTOIT CN ( 鲁ICP备19019924号-1 )谷歌 百度

GMT+8, 2024-3-29 08:43 , Processed in 0.081188 second(s), 24 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表