分布式全文搜索引擎 riotsearch

码农软件 · 软件分类 · 搜索引擎 · 2019-08-25 23:27:13

软件介绍

riot 分布式全文搜索引擎, 采用 Go 语言开发。功能特性:

  • 高效索引和搜索(1M条微博500M数据28秒索引完,1.65毫秒搜索响应时间,19K搜索QPS)

  • 支持中文分词(使用gse分词包并发分词,速度27MB/秒)

  • 支持逻辑搜索

  • 支持中文转拼音搜索

  • 支持计算关键词在文本中的紧邻距离(token proximity)

  • 支持计算BM25相关度

  • 支持自定义评分字段和评分规则

  • 支持在线添加、删除索引

  • 支持多种持久存储

  • 支持 heartbeat

  • 支持分布式索引和搜索

  • 可实现分布式索引和搜索

  • 采用对商业应用友好的Apache License v2发布

示例代码:

package main

import (
"log"

"github.com/go-ego/riot"
"github.com/go-ego/riot/types"
)

var (
// searcher is coroutine safe
searcher = riot.Engine{}
)

func main() {
// Init searcher
searcher.Init(types.EngineOpts{
             Using:             4,
             SegmenterDict: "./dict/dictionary.txt"})
defer searcher.Close()

    text := "Google Is Experimenting With Virtual Reality Advertising"
    text1 := `Google accidentally pushed Bluetooth update for Home
    speaker early`
    text2 := `Google is testing another Search results layout with 
    rounded cards, new colors, and the 4 mysterious colored dots again`

    // Add the document to the index, docId starts at 1
    searcher.IndexDoc(1, types.DocIndexData{Content: text}, false)
    searcher.IndexDoc(2, types.DocIndexData{Content: text1}, false)
    searcher.IndexDoc(3, types.DocIndexData{Content: text2}, false)

// Wait for the index to refresh
searcher.FlushIndex()

// The search output format is found in the types.SearchResp structure
log.Print(searcher.Search(types.SearchReq{Text: "google testing"}))
}

主要改进:

  • 增加逻辑搜索 

  • 增加拼音搜索 

  • 增加分布式和 heartbeat

  • 分词等改进 

  • 增加更多api

  • 修复 bug

  • 删除依赖 cgo 的存储引擎, 增加 badger和 leveldb 持久化引擎

项目详情:

本文地址:https://www.codercto.com/soft/d/13178.html

订阅

订阅

[美] 罗伯特·金奇尔、马尼·佩伊万 / 中信出版集团 / 2018-12 / 68.00元

数据显示,年轻人现在每天看视频的时间已经超过电视。YouTube 平台每天的视频观看总时长超过10亿小时,这个数字还在增长。数字视频牢牢占据着人们的注意力。 数字时代如何实现创意变现?视频平台如何提升自己的品牌认知和广告号召力?想要在这个庞大的媒体生态中占据流量入口,你需要先了解 YouTube。在过去的10年里,互联网视频平台 YouTube 已经像60多年前的电影、广播和电视的发明一样,......一起来看看 《订阅》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具