wangqi的blog

贫,气不改;达,志不改


  • 首页

  • 关于

  • 归档

  • 搜索

Elasticsearch——向量检索

发表于 2020-02-06

在基于faiss的分布式特征向量搜索系统一文中,介绍了我是如何借鉴Elasticsearch的框架来开发分布式向量检索系统的,它在底层利用了faiss强大的向量检索能力。从7.2版本开始,Elasticsearch提供了实验性的向量检索功能。

本文我们来介绍如何使用Elasticsearch来进行向量检索。

阅读全文 »

Spring之扫描package

发表于 2020-01-15

在Spring中扫描package是一个常见的操作,比如扫描package为特定的class创建实例。围绕Spring建立的第三方工具通常也需要扫描package然后向Spring注册特定的实例。比如Mybatis,在启动时会扫描mapper所在的package,为底下定义的mapper生成实例(详见MyBatis探究(三)——MyBatis与Spring的结合及代码探究)。

阅读全文 »

seaweedfs搭建与使用

发表于 2020-01-06

seaweedfs(github: https://github.com/chrislusf/seaweedfs)是一个非常轻巧、易用的分布式文件系统。当我们考虑自己来搭建分布式文件服务的时候,seaweedfs是一个不错的选择。本文记录seaweedfs的搭建与简单使用过程。

阅读全文 »

Elasticsearch——stream读写的实践

发表于 2019-12-30

之前我们分析了Elasticsearch中网络数据读写的过程。本文我们来学习并实践一下其中针对stream的读写。

阅读全文 »

Elasticsearch——网络数据的读写

发表于 2019-12-27

上文Elasticsearch——transport网络模块我们分析了Elasticsearch中用户与节点、节点与节点之间如何通过网络来通信,本文我们来分析一下通过网络传输的数据是如何被读写的。涉及上文Elasticsearch——transport网络模块相关的内容,本文不再重复。

阅读全文 »

Elasticsearch——transport网络模块

发表于 2019-12-24

Elasticsearch作为一个的分布式搜索引擎,能迅速发展并且流行,一个很大的原因是它大大降低了搜索引擎的使用门槛。想象一下,如果要为我们的后台系统开发一个搜索服务,需要从lucene开始开发,那将是一项巨大的工程。之所以Elasticsearch能达到很高的易用性,就在于它将底层的lucene进行了包装,与用户通过http请求来交互,屏蔽了诸如数据分片、副本、分布式存储检索、缓存、日志等一系列细节,基本能做到Elasticsearch宣称的开箱即用的易用程度。

transport是其中比较重要的一个模块,用户通过transport模块和Elasticsearch进行交互,Elasticsearch多个节点之间也通过transport模块传输信息。

在基于faiss的分布式特征向量搜索系统一文中,我提到了整个系统是基于Elasticsearch的框架完成的。本文是对transport网络模块学习的一个总结。

阅读全文 »

ElasticSearch——Translog简介

发表于 2019-11-29

本文是对Elasticsearch中Translog(事务日志)的一个简单整理。

阅读全文 »

基于faiss的分布式特征向量搜索系统

发表于 2019-10-29

这段时间以来,我陆陆续续在开发一个特征向量的搜索系统。目前这个系统出了一个大致可用的版本,这篇文章记录一下这个系统开发的方方面面。

阅读全文 »

Java调用opencv

发表于 2019-10-28

最近有一个大量处理图片的需求,因为整个后台是用Java做的,因此最开始使用JDK自带的方法来处理。问题是这样处理的效率并不高,所以考虑将图片处理的工具替换成opencv。

阅读全文 »

Linux开机启动任务

发表于 2019-10-25

最近在服务器上部署程序的时候,接到一个重启之后能自动启动所有服务的需求。这个操作居然不会,之前重启之后都是手动启动服务的,于是赶紧学习并记录一下。详细教程请参考http://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-commands.html

阅读全文 »
1…456…20

wangqi

199 日志
GitHub E-Mail
© 2025 wangqi
由 Hexo 强力驱动
|
主题 — NexT.Muse v5.1.4