用了全文索引,效果果然不一样了!
之前做DHT时没有使用全文索引软件,直接对数据库进行搜索查询,用过MySQL,用过MongoDB,效果都差不多,性能很差,一次查询要几秒甚至十几秒!之后使用全文索引,用的elasticsearch,配合mongodb,效果一下子就明显了,在13W数据中查询出3W的数据只耗时199ms,强了太多太多了!
不过还是有问题,就是数据资源占用问题,因为用了mongodb存储一份,然后使用elasticsearch再存储一份,导致存在两份数据,资源占用就大了很多很多!
新的DHT演示:http://btkuaiche.com 卖女孩的小火柴 发表于 2016-2-28 08:45
直接查询数据库,牛x
当时是作为测试使用的,哈哈 技术大牛。研究的都是高深东西。 bt快车,送上一ip 斜阳晚暮 发表于 2016-2-28 08:48
技术大牛。研究的都是高深东西。
这个不高深啊,好多人都在就做站了 sense 发表于 2016-2-28 08:49
bt快车,送上一ip
谢谢~顺便继续水一贴 现在日均采集量为2W左右 带头盔滴衰锅 发表于 2016-2-28 08:49
这个不高深啊,好多人都在就做站了
你用的是手撕包菜?