叶子2019 发表于 2021-5-15 17:00:33

网页数据抓取！（已解决）

本帖最后由 叶子2019 于 2021-5-18 16:50 编辑

1、Fiddler抓包后发现需要的数据在SyntaxView标签页里面，怎么抓到这里面的数据？



2、在Raw标签页里面也有需要的数据“{"path":"iDelta.csv",............”，怎么抓到这个数据？


叶子2019 发表于 2021-5-15 17:02:35

这样抓到的数据不全，只有一半？

#include <IE.au3>
$oIE = _IECreate("https://www.joinquant.com/user/64511613240/edit/iDelta.csv")
_IELoadWait($oIE)
$text = _IEBodyReadText($oIE)
FileWrite("c:\dd18.txt", $text)

chamlien 发表于 2021-5-15 17:04:44

InetGet可以下载你说那个文件

叶子2019 发表于 2021-5-15 17:08:42

不想下载，只想读取内容。

zghwelcome 发表于 2021-5-15 17:12:11

是不是搞错方向了，这个是发送数据

gyp2000 发表于 2021-5-15 20:03:31

如果能下载，那就是最简单的方案，如果不能下载，才会采取HTTP协议读取。
如果采用Http协议读取，那就需要很多代码实现协议请求，和数据包的读取，包头分解，数据提取等步骤。

叶子2019 发表于 2021-5-16 13:22:08

换了种抓数据方式，抓出的数据中文显示不正常，二进制转换方式参数都试了也还是不行？
$text = InetRead("https://www.joinquant.com/user/64511613240/api/contents/iDelta.csv")
$text = BinaryToString($text);1，2，3，4
FileWrite("c:\dd18.txt", $text)

gyp2000 发表于 2021-5-16 19:05:13

这个是因为文本被unicode编码了 需要解码，论坛里应该有这个udf代码。

叶子2019 发表于 2021-5-18 16:50:15

谢谢，问题已解决，方法参考一下帖子。

https://www.autoitx.com/forum.php?mod=viewthread&tid=11042&extra=&highlight=%B1%E0%C2%EB&page=1

https://www.autoitx.com/forum.php?mod=viewthread&tid=25832&highlight=unicode
页: [1]
查看完整版本: 网页数据抓取！（已解决）