论坛 › Web技术 › 有谁采集过知乎的图片么？求可行经验

ultramancliub 发表于 2017-9-29 16:35:58

有谁采集过知乎的图片么？求可行经验

知乎载入一个话题，不会全部将所有回复都展现出来，每次都需要点“更多”，对想采集知乎某个话题里的图片，面对几千条回复的话题，着实头大。
有没有靠谱的高效率采集方法？

tumbzzc 发表于 2017-9-29 16:48:12

我有现成的python脚本。

ultramancliub 发表于 2017-9-29 16:51:30

tumbzzc 发表于 2017-9-29 16:48
我有现成的python脚本。

请不吝赐教分享脚本

tumbzzc 发表于 2017-9-29 16:59:54

ultramancliub 发表于 2017-9-29 16:51
请不吝赐教分享脚本

https://github.com/za2016/pythoncode/blob/master/zhihu/zhihu_picture_downloader.py

ultramancliub 发表于 2017-9-29 17:35:39

tumbzzc 发表于 2017-9-29 16:59
https://github.com/za2016/pythoncode/blob/master/zhihu/zhihu_picture_downloader.py

非常感谢

netrefugee 发表于 2017-9-29 17:47:43

mark

ultramancliub 发表于 2017-9-29 20:02:57

tumbzzc 发表于 2017-9-29 16:59
https://github.com/za2016/pythoncode/blob/master/zhihu/zhihu_picture_downloader.py

运行这个脚本，你用的PYTHON版本是多少？

tumbzzc 发表于 2017-9-30 09:22:50

ultramancliub 发表于 2017-9-29 20:02
运行这个脚本，你用的PYTHON版本是多少？

2.7

ultramancliub 发表于 2017-9-30 13:34:54

tumbzzc 发表于 2017-9-30 09:22
2.7

关于您在“有谁采集过知乎的图片么？求可行经验”的帖子
关于知乎采集的脚本，我在WINDOWS 10运行出现以下错误。不知道你这边是否有遇到过没有？
”=====开始解析======
+++++正在解析第1页+++++
Traceback (most recent call last):
File "zhihu_picture_downloader.py", line 149, in <module>
    pics=get_pic_from_topic(id,offset)
File "zhihu_picture_downloader.py", line 116, in get_pic_from_topic
    dat=json.loads(js_data.content)['msg']
File "C:\Python27\lib\json\__init__.py", line 339, in loads
    return _default_decoder.decode(s)
File "C:\Python27\lib\json\decoder.py", line 364, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "C:\Python27\lib\json\decoder.py", line 382, in raw_decode
    raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded“

查看完整版本: 有谁采集过知乎的图片么？求可行经验