用了全文索引，效果果然不一样了！

带头盔滴衰锅 · 发表于 2016-2-28 08:37:27

之前做ＤＨＴ时没有使用全文索引软件，直接对数据库进行搜索查询，用过MySQL，用过MongoDB，效果都差不多，性能很差，一次查询要几秒甚至十几秒！

之后使用全文索引，用的elasticsearch，配合mongodb，效果一下子就明显了，在13W数据中查询出3W的数据只耗时199ms，强了太多太多了！

不过还是有问题，就是数据资源占用问题，因为用了mongodb存储一份，然后使用elasticsearch再存储一份，导致存在两份数据，资源占用就大了很多很多！

新的DHT演示：http://btkuaiche.com

卖女孩的小火柴 · 发表于 2016-2-28 08:45:14

提示: 作者被禁止或删除内容自动屏蔽

带头盔滴衰锅 · 发表于 2016-2-28 08:47:05

卖女孩的小火柴发表于 2016-2-28 08:45
直接查询数据库，牛x

当时是作为测试使用的，哈哈

斜阳晚暮 · 发表于 2016-2-28 08:48:45

技术大牛。研究的都是高深东西。

sense · 发表于 2016-2-28 08:49:44

bt快车，送上一ip

带头盔滴衰锅 · 发表于 2016-2-28 08:49:47

斜阳晚暮发表于 2016-2-28 08:48
技术大牛。研究的都是高深东西。

这个不高深啊，好多人都在就做站了

带头盔滴衰锅 · 发表于 2016-2-28 08:50:50

sense 发表于 2016-2-28 08:49
bt快车，送上一ip

谢谢～顺便继续水一贴

显示全部楼层 · 发表于 2016-2-28 09:05:53

提示: 作者被禁止或删除内容自动屏蔽

带头盔滴衰锅 · 发表于 2016-2-28 09:10:01

现在日均采集量为2W左右

笃笃 · 发表于 2016-2-28 09:55:24

带头盔滴衰锅发表于 2016-2-28 08:49
这个不高深啊，好多人都在就做站了

你用的是手撕包菜？

		自动登录	找回密码
密码			注册

卖女孩的小火柴卖女孩的小火柴当前离线积分 2326	发表于 2016-2-28 08:45:14 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
卖女孩的小火柴卖女孩的小火柴当前离线积分 2326
	回复支持反对举报

CCAV记者该用户已被删除	发表于 2016-2-28 09:05:53 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
CCAV记者该用户已被删除
	回复支持反对举报

用了全文索引，效果果然不一样了！

浏览过的版块