Manticore Search 入门与 Docker 部署指南
AI 摘要salmon-ai
本文详细解析了 Manticore Search 的基础概念、与 Elasticsea
本文介绍 Manticore Search 的基础概念、Mac 本地 Docker 部署、中文分词配置及基本使用方法。
一、Manticore Search 简介
1.1 什么是 Manticore Search?
Manticore Search 是一个开源的全文搜索引擎,从 Sphinx Search 分支而来,专注于高性能和低资源占用。它是 Elasticsearch 的轻量级替代方案,特别适合中小型项目。
1.2 核心特性
| 特性 | 说明 |
|---|---|
| 轻量级 | 最低 256MB 内存即可运行,ES 需要 2GB+ |
| 高性能 | 单机可处理数十亿文档,查询响应毫秒级 |
| SQL 兼容 | 支持标准 SQL 语法,学习成本低 |
| 中文分词 | 内置 ICU 中文分词,无需额外插件 |
| 多协议 | 支持 MySQL 协议、HTTP API、Binary 协议 |
| 实时索引 | 支持实时插入、更新、删除文档 |
1.3 与 Elasticsearch 对比
| 对比项 | Manticore Search | Elasticsearch |
|---|---|---|
| 内存占用 | 256MB 起 | 2GB+ |
| 中文分词 | ICU 内置 | 需安装 IK 插件 |
| 查询语法 | SQL + SphinxQL | DSL JSON |
| 部署复杂度 | 单容器即可 | 需要 JVM 环境 |
| 适用场景 | 中小型项目、个人项目 | 大型企业级应用 |
二、Mac 本地 Docker 部署
2.1 前置条件
确保已安装 Docker Desktop for Mac:
bash
# 检查 Docker 是否安装
docker --version
docker-compose --version
2.2 创建目录结构
bash
# 创建 Manticore 数据目录(只需要 data 目录用于持久化)
sudo mkdir -p /opt/docker/manticore/data
# 设置目录权限(Docker 容器内用户需要写权限)
sudo chmod -R 777 /opt/docker/manticore
2.3 创建 docker-compose.yml
创建文件 /opt/docker/manticore/docker-compose.yml:
bash
cat > /opt/docker/manticore/docker-compose.yml << 'EOF'
services:
manticore:
image: manticoresearch/manticore:6.3.6
container_name: manticore-search
restart: unless-stopped
ports:
- "9306:9306" # MySQL 协议端口(推荐使用)
- "9308:9308" # HTTP API 端口
volumes:
- ./data:/var/lib/manticore # 数据持久化
environment:
- EXTRA=1 # 启用额外功能(ICU 中文分词等)
ulimits:
nproc: 65535
nofile:
soft: 65535
hard: 65535
EOF
说明:
- Docker 镜像内置了默认配置文件,本地开发无需自定义
manticore.confEXTRA=1环境变量会启用 ICU 中文分词模块- 只需挂载
data目录用于数据持久化- 默认端口:9306(MySQL协议)、9308(HTTP API)、9312(Binary协议,一般不用)
2.4 启动 Manticore
bash
# 进入目录
cd /opt/docker/manticore
# 启动容器(后台运行)
# 注意:新版 Docker Desktop 使用 "docker compose"(无中划线)
docker compose up -d
# 查看容器状态
docker compose ps
# 查看日志
docker compose logs -f manticore
2.5 验证安装
方式一:使用 MySQL 客户端连接
bash
# 如果安装了 MySQL 客户端
mysql -h 127.0.0.1 -P 9306
# 或使用 Docker 内置的 mysql 命令
docker exec -it manticore-search mysql -h 127.0.0.1 -P 9306
方式二:使用 HTTP API
bash
# 检查服务状态
curl http://localhost:9308
# 查看版本信息
curl -X POST http://localhost:9308/sql -d "query=SHOW STATUS"
方式三:进入容器交互
bash
docker exec -it manticore-search mysql
三、基础操作入门
3.1 创建表(索引)
Manticore 使用类似 MySQL 的 SQL 语法创建表:
sql
/* 连接到 Manticore: mysql -h 127.0.0.1 -P 9306 */
/* 创建搜索文档表(支持中文分词) */
CREATE TABLE search_documents (
id BIGINT,
title TEXT,
content TEXT,
cover STRING,
business_type STRING,
source_id BIGINT,
author STRING,
tags STRING,
category_id BIGINT,
created_at TIMESTAMP,
updated_at TIMESTAMP
) morphology='icu_chinese'
charset_table='chinese, english, 0..9'
min_word_len='1'
html_strip='1';
参数说明:
morphology='icu_chinese':启用 ICU 中文分词charset_table='chinese, english, 0..9':支持中英文和数字min_word_len='1':最小词长度为 1(支持单字搜索)html_strip='1':自动去除 HTML 标签
3.2 插入数据
sql
/* 插入单条数据 */
/* 注意:Manticore 不支持 NOW() 函数,TIMESTAMP 字段需要使用 Unix 时间戳 */
INSERT INTO search_documents
(id, title, content, business_type, source_id, author, created_at)
VALUES
(1, '如何照顾新生小猫', '新生小猫需要特别的照顾,包括保暖、喂奶、清洁等方面...', 'pet', 1001, 'Salmon', 1735545600);
/* 插入多条数据 */
INSERT INTO search_documents
(id, title, content, business_type, source_id, author, created_at)
VALUES
(2, 'Spring Boot 入门教程', 'Spring Boot 是一个快速开发框架,可以帮助开发者快速搭建项目...', 'blog', 2001, 'Salmon', 1735545600);
INSERT INTO search_documents
(id, title, content, business_type, source_id, author, created_at)
VALUES
(3, '精选高清壁纸合集', '收集了各种风格的高清壁纸,包括风景、动漫、简约等...', 'wallpaper', 3001, 'Salmon', 1735545600);
INSERT INTO search_documents
(id, title, content, business_type, source_id, author, created_at)
VALUES
(4, '狗狗日常护理指南', '狗狗的日常护理包括洗澡、梳毛、剪指甲、清洁耳朵等...', 'pet', 1002, 'Salmon', 1735545600);
重要提示:
- Manticore 不支持
NOW()函数,TIMESTAMP 字段必须使用 Unix 时间戳(秒)- Manticore 不支持多行 VALUES 批量插入,需要分开执行多条 INSERT
- 获取当前时间戳:
date +%s(Mac/Linux)或在代码中使用System.currentTimeMillis() / 1000
3.3 全文搜索
sql
/* 基础搜索 */
SELECT * FROM search_documents WHERE MATCH('小猫');
/* 搜索并按相关性排序 */
SELECT *, WEIGHT() as score
FROM search_documents
WHERE MATCH('护理')
ORDER BY score DESC;
/* 带条件过滤的搜索 */
SELECT * FROM search_documents
WHERE MATCH('教程') AND business_type = 'blog';
/* 分页搜索 */
SELECT * FROM search_documents
WHERE MATCH('壁纸')
LIMIT 0, 10;
3.4 高亮显示
Manticore 支持搜索结果高亮,这是全文搜索的核心功能:
sql
/* 使用 HIGHLIGHT() 函数 */
SELECT
id,
HIGHLIGHT({before_match='<em>', after_match='</em>'}, 'title') as hl_title,
HIGHLIGHT({before_match='<em>', after_match='</em>', limit=200}, 'content') as hl_content,
WEIGHT() as score
FROM search_documents
WHERE MATCH('小猫 护理')
ORDER BY score DESC;
HIGHLIGHT 参数说明:
before_match:高亮前缀标签after_match:高亮后缀标签limit:返回内容的最大长度around:关键词周围显示的词数
3.5 搜索建议(自动补全)
sql
/* 前缀匹配搜索(用于自动补全) */
SELECT title FROM search_documents
WHERE MATCH('^Spring*')
LIMIT 10;
/* 使用 CALL SUGGEST(需要先建立建议词典) */
CALL SUGGEST('sprin', 'search_documents');
3.6 更新和删除
sql
/* 更新文档 */
/* 注意:Manticore 不支持 NOW(),使用 Unix 时间戳 */
UPDATE search_documents
SET title = '如何照顾新生小猫(更新版)', updated_at = 1735545600
WHERE id = 1;
/* 使用 REPLACE(如果存在则更新,不存在则插入) */
REPLACE INTO search_documents
(id, title, content, business_type, source_id, author, created_at, updated_at)
VALUES
(1, '如何照顾新生小猫(完整版)', '完整的新生小猫护理指南...', 'pet', 1001, 'Salmon', 1735545600, 1735545600);
/* 删除文档 */
DELETE FROM search_documents WHERE id = 1;
/* 按条件删除 */
DELETE FROM search_documents WHERE business_type = 'wallpaper';
3.7 查看表结构和状态
sql
/* 查看所有表 */
SHOW TABLES;
/* 查看表结构 */
DESCRIBE search_documents;
/* 查看表状态 */
SHOW TABLE search_documents STATUS;
/* 查看索引设置 */
SHOW CREATE TABLE search_documents;
四、中文分词详解
4.1 ICU 中文分词原理
Manticore 使用 ICU (International Components for Unicode) 库进行中文分词。ICU 基于词典和规则进行分词,效果接近 IK 分词器。
4.2 分词效果测试
sql
/* 使用 CALL KEYWORDS 查看分词结果 */
CALL KEYWORDS('如何照顾新生小猫', 'search_documents');
输出示例:
+------+------------+------------+
| qpos | tokenized | normalized |
+------+------------+------------+
| 1 | 如何 | 如何 |
| 2 | 照顾 | 照顾 |
| 3 | 新生 | 新生 |
| 4 | 小猫 | 小猫 |
+------+------------+------------+
4.3 分词配置优化
sql
/* 创建表时配置分词选项 */
CREATE TABLE articles (
id BIGINT,
title TEXT,
content TEXT
)
morphology='icu_chinese' /* 使用 ICU 中文分词 */
charset_table='chinese, english' /* 字符集 */
min_word_len='1' /* 最小词长 */
blend_chars='-, &' /* 混合字符(不分割) */
ngram_len='1' /* N-gram 长度(支持单字搜索) */
ngram_chars='chinese'; /* N-gram 应用于中文 */
五、HTTP API 使用
除了 MySQL 协议,Manticore 还提供 HTTP API,适合从应用程序直接调用。
5.1 搜索请求
bash
# 全文搜索
curl -X POST http://localhost:9308/search \
-H "Content-Type: application/json" \
-d '{
"index": "search_documents",
"query": {
"match": {
"*": "小猫"
}
},
"highlight": {
"fields": ["title", "content"],
"pre_tags": "<em>",
"post_tags": "</em>"
},
"limit": 10
}'
5.2 插入文档
bash
curl -X POST http://localhost:9308/insert \
-H "Content-Type: application/json" \
-d '{
"index": "search_documents",
"id": 100,
"doc": {
"title": "测试文章",
"content": "这是一篇测试文章的内容",
"business_type": "blog",
"source_id": 100
}
}'
5.3 执行 SQL
bash
curl -X POST http://localhost:9308/sql \
-d "query=SELECT * FROM search_documents WHERE MATCH('小猫') LIMIT 10"
六、Java 连接示例
6.1 使用 JDBC 连接
Manticore 兼容 MySQL 协议,可以直接使用 MySQL JDBC 驱动:
xml
<!-- pom.xml -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.33</version>
</dependency>
java
import java.sql.*;
public class ManticoreDemo {
public static void main(String[] args) throws Exception {
String url = "jdbc:mysql://127.0.0.1:9306/?characterEncoding=utf8";
try (Connection conn = DriverManager.getConnection(url);
Statement stmt = conn.createStatement()) {
// 搜索
String sql = """
SELECT id, title,
HIGHLIGHT({before_match='<em>', after_match='</em>'}, 'title') as hl_title,
WEIGHT() as score
FROM search_documents
WHERE MATCH('小猫')
ORDER BY score DESC
LIMIT 10
""";
ResultSet rs = stmt.executeQuery(sql);
while (rs.next()) {
System.out.println("ID: " + rs.getLong("id"));
System.out.println("Title: " + rs.getString("title"));
System.out.println("Highlight: " + rs.getString("hl_title"));
System.out.println("Score: " + rs.getFloat("score"));
System.out.println("---");
}
}
}
}
6.2 Spring Boot 配置
yaml
# application.yml
manticore:
datasource:
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://127.0.0.1:9306/?characterEncoding=utf8
maximum-pool-size: 10
minimum-idle: 2
七、常用运维命令
7.1 容器管理
bash
# 启动
cd /opt/docker/manticore && docker compose up -d
# 停止
docker compose down
# 重启
docker compose restart
# 查看日志
docker compose logs -f manticore
# 进入容器
docker exec -it manticore-search bash
7.2 数据备份与恢复
bash
# 备份数据目录
tar -czvf manticore-backup-$(date +%Y%m%d).tar.gz /opt/docker/manticore/data
# 恢复数据
tar -xzvf manticore-backup-20241230.tar.gz -C /opt/docker/manticore/
7.3 索引优化
sql
/* 优化索引(合并索引段,提升查询性能) */
OPTIMIZE INDEX search_documents;
/* 刷新索引 */
FLUSH RAMCHUNK search_documents;
/* 重建索引 */
ALTER TABLE search_documents REBUILD SECONDARY;
八、常见问题
Q1: 中文搜索没有结果?
检查表是否配置了中文分词:
sql
SHOW CREATE TABLE search_documents;
/* 确保有 morphology='icu_chinese' */
Q2: 如何查看查询耗时?
sql
/* 使用 SHOW META 查看上一次查询的详细信息 */
SELECT * FROM search_documents WHERE MATCH('小猫');
SHOW META;
Q3: 内存占用过高?
调整配置文件中的内存限制:
conf
searchd {
rt_mem_limit = 128M
}
Q4: 如何清空表数据?
sql
/* 清空表(保留结构) */
TRUNCATE TABLE search_documents;
/* 删除表 */
DROP TABLE search_documents;
九、参考资料
十、快速命令汇总
bash
# ========== 一键部署命令 ==========
# 1. 创建目录(只需要 data 目录)
sudo mkdir -p /opt/docker/manticore/data
sudo chmod -R 777 /opt/docker/manticore
# 2. 进入目录
cd /opt/docker/manticore
# 3. 创建 docker-compose.yml(无需自定义配置文件)
cat > docker-compose.yml << 'EOF'
services:
manticore:
image: manticoresearch/manticore:6.3.6
container_name: manticore-search
restart: unless-stopped
ports:
- "9306:9306"
- "9308:9308"
volumes:
- ./data:/var/lib/manticore
environment:
- EXTRA=1
EOF
# 4. 启动(新版 Docker 使用 "docker compose")
docker compose up -d
# 5. 验证(等待几秒让服务启动)
docker exec -it manticore-search mysql -e "SHOW TABLES"
# 6. 创建测试表(支持中英文分词)
docker exec -it manticore-search mysql -e "
CREATE TABLE IF NOT EXISTS test_docs (
id BIGINT,
title TEXT,
content TEXT
) morphology='icu_chinese' charset_table='chinese, english';
"
# 7. 插入测试数据
docker exec -it manticore-search mysql -e "
INSERT INTO test_docs (id, title, content) VALUES
(1, '中文分词测试', '这是一段中文内容,用于测试分词效果'),
(2, 'English Test', 'This is English content for testing');
"
# 8. 测试中文搜索
docker exec -it manticore-search mysql -e "
SELECT *, WEIGHT() as score FROM test_docs WHERE MATCH('中文');
"
# 9. 测试英文搜索
docker exec -it manticore-search mysql -e "
SELECT *, WEIGHT() as score FROM test_docs WHERE MATCH('English');
"
# 10. 查看分词效果
docker exec -it manticore-search mysql -e "
CALL KEYWORDS('如何照顾新生小猫', 'test_docs');
"
十一、分词配置说明
中英文分词是在建表时配置的
sql
CREATE TABLE search_documents (
id BIGINT,
title TEXT,
content TEXT,
...
)
/* 核心分词配置 */
morphology='icu_chinese' /* ICU 中文分词(需要 EXTRA=1 环境变量) */
charset_table='chinese, english' /* 支持中英文字符集 */
min_word_len='1' /* 最小词长度(支持单字搜索) */
html_strip='1'; /* 自动去除 HTML 标签 */
配置说明
| 配置项 | 说明 | 推荐值 |
|---|---|---|
morphology |
分词器 | icu_chinese(ICU 中文分词) |
charset_table |
字符集 | chinese, english(中英文) |
min_word_len |
最小词长 | 1(支持单字搜索) |
html_strip |
去除 HTML | 1(自动清理 HTML 标签) |
为什么不需要自定义 manticore.conf?
Docker 镜像 manticoresearch/manticore:6.3.6 内置了合理的默认配置:
- 端口:9306(MySQL)、9308(HTTP)、9312(Binary)
- 数据目录:
/var/lib/manticore/data - 日志目录:
/var/lib/manticore/log - 二进制日志:
/var/lib/manticore/binlog
只需设置 EXTRA=1 环境变量启用 ICU 分词模块,其他配置保持默认即可。
评论
0 条—
还没有评论,来说第一句