带头盔滴衰锅 发表于 2016-2-28 08:37:27

用了全文索引,效果果然不一样了!

之前做DHT时没有使用全文索引软件,直接对数据库进行搜索查询,用过MySQL,用过MongoDB,效果都差不多,性能很差,一次查询要几秒甚至十几秒!

之后使用全文索引,用的elasticsearch,配合mongodb,效果一下子就明显了,在13W数据中查询出3W的数据只耗时199ms,强了太多太多了!

不过还是有问题,就是数据资源占用问题,因为用了mongodb存储一份,然后使用elasticsearch再存储一份,导致存在两份数据,资源占用就大了很多很多!

新的DHT演示:http://btkuaiche.com

卖女孩的小火柴 发表于 2016-2-28 08:45:14

带头盔滴衰锅 发表于 2016-2-28 08:47:05

卖女孩的小火柴 发表于 2016-2-28 08:45
直接查询数据库,牛x

当时是作为测试使用的,哈哈

斜阳晚暮 发表于 2016-2-28 08:48:45

技术大牛。研究的都是高深东西。

sense 发表于 2016-2-28 08:49:44

bt快车,送上一ip

带头盔滴衰锅 发表于 2016-2-28 08:49:47

斜阳晚暮 发表于 2016-2-28 08:48
技术大牛。研究的都是高深东西。

这个不高深啊,好多人都在就做站了

带头盔滴衰锅 发表于 2016-2-28 08:50:50

sense 发表于 2016-2-28 08:49
bt快车,送上一ip

谢谢~顺便继续水一贴

CCAV记者 发表于 2016-2-28 09:05:53

带头盔滴衰锅 发表于 2016-2-28 09:10:01

现在日均采集量为2W左右

笃笃 发表于 2016-2-28 09:55:24

带头盔滴衰锅 发表于 2016-2-28 08:49
这个不高深啊,好多人都在就做站了

你用的是手撕包菜?
页: [1] 2 3 4
查看完整版本: 用了全文索引,效果果然不一样了!