redtube爬虫发布~~~~~~~~~~~~~~~~~~~~~~~~~~~~

eqblog · 发表于 2018-5-4 13:34:20

标题一定要长

spider.zip (1.63 KB, 下载次数: 415)

默认爬取720P的清晰度，如果需要更低清晰度请修改代码87行。

爬取的页面是https://www.redtube.com/mostviewed

左手写爱 · 发表于 2018-5-4 14:28:47

权限1其实是游客也可见的。。。

全球资源提供商 · 发表于 2018-5-4 13:35:46

本帖最后由全球资源提供商于 2018-5-4 15:19 编辑

没什么卵用

我会告诉你我有超100T的资源
光tumblr就有20w

Update #0
分享不现实, 文件太多太大, 而且流量很贵

Update #1
看来你们对汤不热很有兴趣, 我给个逻辑
首先你要维护一个用户列表, 就是更新资源的用户
然后循环这个列表去采集就好了, 注意维护一个URL队列去重用途

我是用的官方API来采集
逻辑这样

内容服务器
#1 采集
判断用户内容数量如果和上次采集的数量一样
如果多则代表有更新采集自动去重
标记为未下载

存储服务器
#2 下载
读取队列查询未下载的
下载文件和图片存储本地

#3 效验
我用的最简单的方法判断文件是不是存在,且文件大小大于0
这样就好了

eqblog · 发表于 2018-5-4 13:36:21

全球资源提供商发表于 2018-5-4 13:35
没什么卵用

我会告诉你我有超100T的资源

有用就不会发布了呵呵

yongs · 发表于 2018-5-4 13:40:39

提示: 作者被禁止或删除内容自动屏蔽

木易酱 · 发表于 2018-5-4 14:14:19

yongs 发表于 2018-5-4 13:40
求gd分享。

tongqiu

caboxer · 发表于 2018-5-4 14:16:12

全球资源提供商发表于 2018-5-4 13:35
没什么卵用

我会告诉你我有超100T的资源

赶紧的，分享一下，让我也瞧瞧

ǿ · 发表于 2018-5-4 14:19:00

提示: 作者被禁止或删除内容自动屏蔽

myseil · 发表于 2018-5-4 14:20:36

全球资源提供商发表于 2018-5-4 13:35
没什么卵用

我会告诉你我有超100T的资源

不分享让论坛兄弟bao你菊花不用润滑油用辣椒酱！

sgwyhwt · 发表于 2018-5-4 14:49:53

大佬10元的鸡鸡可以下载吗？

		自动登录	找回密码
密码			注册

yongs yongs 当前离线积分 3371	发表于 2018-5-4 13:40:39 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
yongs yongs 当前离线积分 3371
	回复支持反对举报

ǿ ǿ 当前离线积分 15353	发表于 2018-5-4 14:19:00 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
ǿ ǿ 当前离线积分 15353
	回复支持反对举报

redtube爬虫发布~~~~~~~~~~~~~~~~~~~~~~~~~~~~

点评

浏览过的版块