Manticore Search 入门与 Docker 部署指南

2025-12-30开发环境7 分钟366 次阅读
AI 摘要salmon-ai

本文详细解析了 Manticore Search 的基础概念、与 Elasticsea

本文介绍 Manticore Search 的基础概念、Mac 本地 Docker 部署、中文分词配置及基本使用方法。

1.1 什么是 Manticore Search?

Manticore Search 是一个开源的全文搜索引擎,从 Sphinx Search 分支而来,专注于高性能和低资源占用。它是 Elasticsearch 的轻量级替代方案,特别适合中小型项目。

1.2 核心特性

特性 说明
轻量级 最低 256MB 内存即可运行,ES 需要 2GB+
高性能 单机可处理数十亿文档,查询响应毫秒级
SQL 兼容 支持标准 SQL 语法,学习成本低
中文分词 内置 ICU 中文分词,无需额外插件
多协议 支持 MySQL 协议、HTTP API、Binary 协议
实时索引 支持实时插入、更新、删除文档

1.3 与 Elasticsearch 对比

对比项 Manticore Search Elasticsearch
内存占用 256MB 起 2GB+
中文分词 ICU 内置 需安装 IK 插件
查询语法 SQL + SphinxQL DSL JSON
部署复杂度 单容器即可 需要 JVM 环境
适用场景 中小型项目、个人项目 大型企业级应用

二、Mac 本地 Docker 部署

2.1 前置条件

确保已安装 Docker Desktop for Mac:

bash 复制代码
# 检查 Docker 是否安装
docker --version
docker-compose --version

2.2 创建目录结构

bash 复制代码
# 创建 Manticore 数据目录(只需要 data 目录用于持久化)
sudo mkdir -p /opt/docker/manticore/data

# 设置目录权限(Docker 容器内用户需要写权限)
sudo chmod -R 777 /opt/docker/manticore

2.3 创建 docker-compose.yml

创建文件 /opt/docker/manticore/docker-compose.yml:

bash 复制代码
cat > /opt/docker/manticore/docker-compose.yml << 'EOF'
services:
  manticore:
    image: manticoresearch/manticore:6.3.6
    container_name: manticore-search
    restart: unless-stopped
    ports:
      - "9306:9306"   # MySQL 协议端口(推荐使用)
      - "9308:9308"   # HTTP API 端口
    volumes:
      - ./data:/var/lib/manticore    # 数据持久化
    environment:
      - EXTRA=1       # 启用额外功能(ICU 中文分词等)
    ulimits:
      nproc: 65535
      nofile:
        soft: 65535
        hard: 65535
EOF

说明:

  • Docker 镜像内置了默认配置文件,本地开发无需自定义 manticore.conf
  • EXTRA=1 环境变量会启用 ICU 中文分词模块
  • 只需挂载 data 目录用于数据持久化
  • 默认端口:9306(MySQL协议)、9308(HTTP API)、9312(Binary协议,一般不用)

2.4 启动 Manticore

bash 复制代码
# 进入目录
cd /opt/docker/manticore

# 启动容器(后台运行)
# 注意:新版 Docker Desktop 使用 "docker compose"(无中划线)
docker compose up -d

# 查看容器状态
docker compose ps

# 查看日志
docker compose logs -f manticore

2.5 验证安装

方式一:使用 MySQL 客户端连接

bash 复制代码
# 如果安装了 MySQL 客户端
mysql -h 127.0.0.1 -P 9306

# 或使用 Docker 内置的 mysql 命令
docker exec -it manticore-search mysql -h 127.0.0.1 -P 9306

方式二:使用 HTTP API

bash 复制代码
# 检查服务状态
curl http://localhost:9308

# 查看版本信息
curl -X POST http://localhost:9308/sql -d "query=SHOW STATUS"

方式三:进入容器交互

bash 复制代码
docker exec -it manticore-search mysql

三、基础操作入门

3.1 创建表(索引)

Manticore 使用类似 MySQL 的 SQL 语法创建表:

sql 复制代码
/* 连接到 Manticore: mysql -h 127.0.0.1 -P 9306 */

/* 创建搜索文档表(支持中文分词) */
CREATE TABLE search_documents (
    id BIGINT,
    title TEXT,
    content TEXT,
    cover STRING,
    business_type STRING,
    source_id BIGINT,
    author STRING,
    tags STRING,
    category_id BIGINT,
    created_at TIMESTAMP,
    updated_at TIMESTAMP
) morphology='icu_chinese' 
  charset_table='chinese, english, 0..9'
  min_word_len='1'
  html_strip='1';

参数说明:

  • morphology='icu_chinese':启用 ICU 中文分词
  • charset_table='chinese, english, 0..9':支持中英文和数字
  • min_word_len='1':最小词长度为 1(支持单字搜索)
  • html_strip='1':自动去除 HTML 标签

3.2 插入数据

sql 复制代码
/* 插入单条数据 */
/* 注意:Manticore 不支持 NOW() 函数,TIMESTAMP 字段需要使用 Unix 时间戳 */
INSERT INTO search_documents 
(id, title, content, business_type, source_id, author, created_at) 
VALUES 
(1, '如何照顾新生小猫', '新生小猫需要特别的照顾,包括保暖、喂奶、清洁等方面...', 'pet', 1001, 'Salmon', 1735545600);

/* 插入多条数据 */
INSERT INTO search_documents 
(id, title, content, business_type, source_id, author, created_at) 
VALUES 
(2, 'Spring Boot 入门教程', 'Spring Boot 是一个快速开发框架,可以帮助开发者快速搭建项目...', 'blog', 2001, 'Salmon', 1735545600);

INSERT INTO search_documents 
(id, title, content, business_type, source_id, author, created_at) 
VALUES 
(3, '精选高清壁纸合集', '收集了各种风格的高清壁纸,包括风景、动漫、简约等...', 'wallpaper', 3001, 'Salmon', 1735545600);

INSERT INTO search_documents 
(id, title, content, business_type, source_id, author, created_at) 
VALUES 
(4, '狗狗日常护理指南', '狗狗的日常护理包括洗澡、梳毛、剪指甲、清洁耳朵等...', 'pet', 1002, 'Salmon', 1735545600);

重要提示:

  • Manticore 不支持 NOW() 函数,TIMESTAMP 字段必须使用 Unix 时间戳(秒)
  • Manticore 不支持多行 VALUES 批量插入,需要分开执行多条 INSERT
  • 获取当前时间戳:date +%s(Mac/Linux)或在代码中使用 System.currentTimeMillis() / 1000

3.3 全文搜索

sql 复制代码
/* 基础搜索 */
SELECT * FROM search_documents WHERE MATCH('小猫');

/* 搜索并按相关性排序 */
SELECT *, WEIGHT() as score 
FROM search_documents 
WHERE MATCH('护理') 
ORDER BY score DESC;

/* 带条件过滤的搜索 */
SELECT * FROM search_documents 
WHERE MATCH('教程') AND business_type = 'blog';

/* 分页搜索 */
SELECT * FROM search_documents 
WHERE MATCH('壁纸') 
LIMIT 0, 10;

3.4 高亮显示

Manticore 支持搜索结果高亮,这是全文搜索的核心功能:

sql 复制代码
/* 使用 HIGHLIGHT() 函数 */
SELECT 
    id,
    HIGHLIGHT({before_match='<em>', after_match='</em>'}, 'title') as hl_title,
    HIGHLIGHT({before_match='<em>', after_match='</em>', limit=200}, 'content') as hl_content,
    WEIGHT() as score
FROM search_documents 
WHERE MATCH('小猫 护理')
ORDER BY score DESC;

HIGHLIGHT 参数说明:

  • before_match:高亮前缀标签
  • after_match:高亮后缀标签
  • limit:返回内容的最大长度
  • around:关键词周围显示的词数

3.5 搜索建议(自动补全)

sql 复制代码
/* 前缀匹配搜索(用于自动补全) */
SELECT title FROM search_documents 
WHERE MATCH('^Spring*') 
LIMIT 10;

/* 使用 CALL SUGGEST(需要先建立建议词典) */
CALL SUGGEST('sprin', 'search_documents');

3.6 更新和删除

sql 复制代码
/* 更新文档 */
/* 注意:Manticore 不支持 NOW(),使用 Unix 时间戳 */
UPDATE search_documents 
SET title = '如何照顾新生小猫(更新版)', updated_at = 1735545600 
WHERE id = 1;

/* 使用 REPLACE(如果存在则更新,不存在则插入) */
REPLACE INTO search_documents 
(id, title, content, business_type, source_id, author, created_at, updated_at) 
VALUES 
(1, '如何照顾新生小猫(完整版)', '完整的新生小猫护理指南...', 'pet', 1001, 'Salmon', 1735545600, 1735545600);

/* 删除文档 */
DELETE FROM search_documents WHERE id = 1;

/* 按条件删除 */
DELETE FROM search_documents WHERE business_type = 'wallpaper';

3.7 查看表结构和状态

sql 复制代码
/* 查看所有表 */
SHOW TABLES;

/* 查看表结构 */
DESCRIBE search_documents;

/* 查看表状态 */
SHOW TABLE search_documents STATUS;

/* 查看索引设置 */
SHOW CREATE TABLE search_documents;

四、中文分词详解

4.1 ICU 中文分词原理

Manticore 使用 ICU (International Components for Unicode) 库进行中文分词。ICU 基于词典和规则进行分词,效果接近 IK 分词器。

4.2 分词效果测试

sql 复制代码
/* 使用 CALL KEYWORDS 查看分词结果 */
CALL KEYWORDS('如何照顾新生小猫', 'search_documents');

输出示例:

复制代码
+------+------------+------------+
| qpos | tokenized  | normalized |
+------+------------+------------+
| 1    | 如何       | 如何       |
| 2    | 照顾       | 照顾       |
| 3    | 新生       | 新生       |
| 4    | 小猫       | 小猫       |
+------+------------+------------+

4.3 分词配置优化

sql 复制代码
/* 创建表时配置分词选项 */
CREATE TABLE articles (
    id BIGINT,
    title TEXT,
    content TEXT
) 
morphology='icu_chinese'           /* 使用 ICU 中文分词 */
charset_table='chinese, english'   /* 字符集 */
min_word_len='1'                   /* 最小词长 */
blend_chars='-, &'                 /* 混合字符(不分割) */
ngram_len='1'                      /* N-gram 长度(支持单字搜索) */
ngram_chars='chinese';             /* N-gram 应用于中文 */

五、HTTP API 使用

除了 MySQL 协议,Manticore 还提供 HTTP API,适合从应用程序直接调用。

5.1 搜索请求

bash 复制代码
# 全文搜索
curl -X POST http://localhost:9308/search \
  -H "Content-Type: application/json" \
  -d '{
    "index": "search_documents",
    "query": {
      "match": {
        "*": "小猫"
      }
    },
    "highlight": {
      "fields": ["title", "content"],
      "pre_tags": "<em>",
      "post_tags": "</em>"
    },
    "limit": 10
  }'

5.2 插入文档

bash 复制代码
curl -X POST http://localhost:9308/insert \
  -H "Content-Type: application/json" \
  -d '{
    "index": "search_documents",
    "id": 100,
    "doc": {
      "title": "测试文章",
      "content": "这是一篇测试文章的内容",
      "business_type": "blog",
      "source_id": 100
    }
  }'

5.3 执行 SQL

bash 复制代码
curl -X POST http://localhost:9308/sql \
  -d "query=SELECT * FROM search_documents WHERE MATCH('小猫') LIMIT 10"

六、Java 连接示例

6.1 使用 JDBC 连接

Manticore 兼容 MySQL 协议,可以直接使用 MySQL JDBC 驱动:

xml 复制代码
<!-- pom.xml -->
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.33</version>
</dependency>
java 复制代码
import java.sql.*;

public class ManticoreDemo {
    public static void main(String[] args) throws Exception {
        String url = "jdbc:mysql://127.0.0.1:9306/?characterEncoding=utf8";
        
        try (Connection conn = DriverManager.getConnection(url);
             Statement stmt = conn.createStatement()) {
            
            // 搜索
            String sql = """
                SELECT id, title, 
                       HIGHLIGHT({before_match='<em>', after_match='</em>'}, 'title') as hl_title,
                       WEIGHT() as score
                FROM search_documents 
                WHERE MATCH('小猫')
                ORDER BY score DESC
                LIMIT 10
                """;
            
            ResultSet rs = stmt.executeQuery(sql);
            while (rs.next()) {
                System.out.println("ID: " + rs.getLong("id"));
                System.out.println("Title: " + rs.getString("title"));
                System.out.println("Highlight: " + rs.getString("hl_title"));
                System.out.println("Score: " + rs.getFloat("score"));
                System.out.println("---");
            }
        }
    }
}

6.2 Spring Boot 配置

yaml 复制代码
# application.yml
manticore:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    jdbc-url: jdbc:mysql://127.0.0.1:9306/?characterEncoding=utf8
    maximum-pool-size: 10
    minimum-idle: 2

七、常用运维命令

7.1 容器管理

bash 复制代码
# 启动
cd /opt/docker/manticore && docker compose up -d

# 停止
docker compose down

# 重启
docker compose restart

# 查看日志
docker compose logs -f manticore

# 进入容器
docker exec -it manticore-search bash

7.2 数据备份与恢复

bash 复制代码
# 备份数据目录
tar -czvf manticore-backup-$(date +%Y%m%d).tar.gz /opt/docker/manticore/data

# 恢复数据
tar -xzvf manticore-backup-20241230.tar.gz -C /opt/docker/manticore/

7.3 索引优化

sql 复制代码
/* 优化索引(合并索引段,提升查询性能) */
OPTIMIZE INDEX search_documents;

/* 刷新索引 */
FLUSH RAMCHUNK search_documents;

/* 重建索引 */
ALTER TABLE search_documents REBUILD SECONDARY;

八、常见问题

Q1: 中文搜索没有结果?

检查表是否配置了中文分词:

sql 复制代码
SHOW CREATE TABLE search_documents;
/* 确保有 morphology='icu_chinese' */

Q2: 如何查看查询耗时?

sql 复制代码
/* 使用 SHOW META 查看上一次查询的详细信息 */
SELECT * FROM search_documents WHERE MATCH('小猫');
SHOW META;

Q3: 内存占用过高?

调整配置文件中的内存限制:

conf 复制代码
searchd {
    rt_mem_limit = 128M
}

Q4: 如何清空表数据?

sql 复制代码
/* 清空表(保留结构) */
TRUNCATE TABLE search_documents;

/* 删除表 */
DROP TABLE search_documents;

九、参考资料


十、快速命令汇总

bash 复制代码
# ========== 一键部署命令 ==========

# 1. 创建目录(只需要 data 目录)
sudo mkdir -p /opt/docker/manticore/data
sudo chmod -R 777 /opt/docker/manticore

# 2. 进入目录
cd /opt/docker/manticore

# 3. 创建 docker-compose.yml(无需自定义配置文件)
cat > docker-compose.yml << 'EOF'
services:
  manticore:
    image: manticoresearch/manticore:6.3.6
    container_name: manticore-search
    restart: unless-stopped
    ports:
      - "9306:9306"
      - "9308:9308"
    volumes:
      - ./data:/var/lib/manticore
    environment:
      - EXTRA=1
EOF

# 4. 启动(新版 Docker 使用 "docker compose")
docker compose up -d

# 5. 验证(等待几秒让服务启动)
docker exec -it manticore-search mysql -e "SHOW TABLES"

# 6. 创建测试表(支持中英文分词)
docker exec -it manticore-search mysql -e "
CREATE TABLE IF NOT EXISTS test_docs (
    id BIGINT,
    title TEXT,
    content TEXT
) morphology='icu_chinese' charset_table='chinese, english';
"

# 7. 插入测试数据
docker exec -it manticore-search mysql -e "
INSERT INTO test_docs (id, title, content) VALUES 
(1, '中文分词测试', '这是一段中文内容,用于测试分词效果'),
(2, 'English Test', 'This is English content for testing');
"

# 8. 测试中文搜索
docker exec -it manticore-search mysql -e "
SELECT *, WEIGHT() as score FROM test_docs WHERE MATCH('中文');
"

# 9. 测试英文搜索
docker exec -it manticore-search mysql -e "
SELECT *, WEIGHT() as score FROM test_docs WHERE MATCH('English');
"

# 10. 查看分词效果
docker exec -it manticore-search mysql -e "
CALL KEYWORDS('如何照顾新生小猫', 'test_docs');
"

十一、分词配置说明

中英文分词是在建表时配置的

sql 复制代码
CREATE TABLE search_documents (
    id BIGINT,
    title TEXT,
    content TEXT,
    ...
) 
/* 核心分词配置 */
morphology='icu_chinese'              /* ICU 中文分词(需要 EXTRA=1 环境变量) */
charset_table='chinese, english'      /* 支持中英文字符集 */
min_word_len='1'                      /* 最小词长度(支持单字搜索) */
html_strip='1';                       /* 自动去除 HTML 标签 */

配置说明

配置项 说明 推荐值
morphology 分词器 icu_chinese(ICU 中文分词)
charset_table 字符集 chinese, english(中英文)
min_word_len 最小词长 1(支持单字搜索)
html_strip 去除 HTML 1(自动清理 HTML 标签)

为什么不需要自定义 manticore.conf?

Docker 镜像 manticoresearch/manticore:6.3.6 内置了合理的默认配置:

  • 端口:9306(MySQL)、9308(HTTP)、9312(Binary)
  • 数据目录:/var/lib/manticore/data
  • 日志目录:/var/lib/manticore/log
  • 二进制日志:/var/lib/manticore/binlog

只需设置 EXTRA=1 环境变量启用 ICU 分词模块,其他配置保持默认即可。

觉得有用就点个赞,不用登录也能读

评论

0 条
登录 之后才能评论
—
还没有评论,来说第一句