论坛 › Web技术 › 10软妹求几个省心关关采集规则

biubiu 发表于 2018-4-4 17:51:23

10软妹求几个省心关关采集规则

目前手里只有两个规则，有一个还是一大堆广告

测试过滤广告都花了不少功夫yc021t

不知道dalao有没有写好过滤广告规则的采集规则yc019t

先钱10软妹，实在没分了yc006t

yc008t 事成之后可以追加100金币

251768938 发表于 2018-4-4 17:51:24

PY我QQ

coxyblog 发表于 2018-4-4 18:36:51

规则自己写不就好了么？只采集需要的部分，呃，虽然我没用过你说的那个采集软件。。。

今晚我是你的 发表于 2018-4-4 18:38:09

都差不多，随便找点，比如八一中文

biubiu 发表于 2018-4-4 18:44:15

coxyblog 发表于 2018-4-4 18:36
规则自己写不就好了么？只采集需要的部分，呃，虽然我没用过你说的那个采集软件。。。 ...

广告好像挺难过滤了

上次过滤一条规则，样式不一样的广告都招出来十几条，这还只是我找到的yc020t

二暖的萌萌君 发表于 2018-4-4 20:31:31

规则好说 还是对你用的是哪里的服务器比较感兴趣、、、

biubiu 发表于 2018-4-4 21:13:53

二暖的萌萌君 发表于 2018-4-4 20:31
规则好说 还是对你用的是哪里的服务器比较感兴趣、、、

hosthatch的750G大盘鸡，再用do或者vu开几台机器远程采集，网站速度不好就上反代

不过现在问题还在采集这块，最近还总弹出错误
无法从传输连接中读取数据: 远程主机强迫关闭了一个现有的连接

不知道是不是因为对一个规则采集太猛的原因，抑或是数据库方面问题

二暖的萌萌君 发表于 2018-4-4 21:16:16

biubiu 发表于 2018-4-4 21:13
hosthatch的750G大盘鸡，再用do或者vu开几台机器远程采集，网站速度不好就上反代

不过现在问题还在采集 ...

采集太快了 建议减少线程尝试

windowscrb 发表于 2018-4-4 21:17:55

自己写个爬虫就好了。

biubiu 发表于 2018-4-4 21:24:26

二暖的萌萌君 发表于 2018-4-4 21:16
采集太快了 建议减少线程尝试

yc006t还是真是太快了吗

头一次接触采集，我是对一个规则开了十多个区间进行采，因为远程和网站是分开的，单个线程速度有限
yc022t

看来还是得多规则同时采啊

查看完整版本: 10软妹求几个省心关关采集规则