牛b防采集

四师兄 · 发表于 2011-9-13 19:25:19

还有人放违禁内容就等着他的域名被墙呢

wmfy808 · 发表于 2011-9-13 19:28:39

原帖由 kowtow01 于 2011-9-13 19:25 发表
还有人放违禁内容就等着他的域名被墙呢

嘿嘿！已经删了！150多m呢！搜索引擎不可能会收录，正常用户也不可能会打开！他用的是服务器采集，还是美国的，下载也就几分钟的事，不过分析的话，够他cpu受的，

somin · 发表于 2011-9-13 20:08:58

这个方法给力。

hotdojo · 发表于 2011-9-13 21:18:24

果然牛逼够狠

greensnow · 发表于 2011-9-13 21:33:24

开发采集引擎程序的时候就应该考虑到这个问题,
一般至少要有最大文件大小, 最大timeout, 最大redirect次数的设置

hnghng · 发表于 2011-9-13 21:51:14

原帖由 greensnow 于 2011-9-13 21:33 发表
开发采集引擎程序的时候就应该考虑到这个问题,
一般至少要有最大文件大小, 最大timeout, 最大redirect次数的设置

这个必须得

hnghng · 发表于 2011-9-13 21:51:14

原帖由 greensnow 于 2011-9-13 21:33 发表
开发采集引擎程序的时候就应该考虑到这个问题,
一般至少要有最大文件大小, 最大timeout, 最大redirect次数的设置

这个必须得

dianso · 发表于 2011-9-13 22:12:41

浪费流量啊，人家下载你1000次就够你受了

神马皆浮云 · 发表于 2011-9-13 22:22:41

求地址围观

		自动登录	找回密码
密码			注册