Spring Boot 集成 Spring AI 框架

2025-04-21后端7 分钟410 次阅读
AI 摘要鱼粮不足,AI 今天先歇着 · 正文在下面

一.Spring AI介绍

Spring AI 是一个用于 AI 工程的应用程序框架。 其目标是将 Spring 生态系统设计原则(如可移植性和模块化设计)应用于 AI 领域,并将使用 POJO 作为应用程序的构建块推广到 AI 领域。
image.png
Spring AI 的核心是解决了 AI 集成的根本挑战:将您的企业数据和 API 与 AI 模型连接起来。

Spring Ai 官方:https://spring.io/projects/spring-ai

1、特征

Spring AI 提供以下功能:

  • 支持所有主要的 AI 模型提供商,例如 Anthropic、OpenAI、Microsoft、Amazon、Google 和 Ollama。支持的模型类型包括:
    • 聊天完成
    • 嵌入
    • 文本到图像
    • 音频转录
    • 文本到语音
    • 适度
  • 支持跨 AI 提供商对同步和流式处理 API 选项的可移植 API 支持。此外,还可以访问特定于模型的特征。
    结构化输出 - AI 模型输出到 POJO 的映射。
  • 支持所有主要的矢量数据库提供商,例如 Apache Cassandra、Azure Vector Search、Chroma、Milvus、MongoDB Atlas、Neo4j、Oracle、PostgreSQL/PGVector、PineCone、Qdrant、Redis 和 Weaviate。
  • 跨 Vector Store 提供商的可移植 API,包括一种新颖的类似 SQL 的元数据过滤器 API。
  • 工具/函数调用 - 允许模型请求执行客户端工具和函数,从而根据需要访问必要的实时信息。
  • 可观察性 - 提供对 AI 相关作的见解。
  • 用于数据工程的文档注入 ETL 框架。
  • AI 模型评估 - 帮助评估生成的内容并防止幻觉响应的实用程序。
  • ChatClient API - 用于与 AI 聊天模型通信的 Fluent API,惯用性类似于 WebClient 和 RestClient API。
  • Advisors API - 封装重复的生成式 AI 模式,转换发送到和传出语言模型 (LLM) 的数据,并提供跨各种模型和用例的可移植性。
  • 支持 Chat Conversation Memory and Retrieval Augmented Generation (RAG)。
  • Spring Boot 所有 AI 模型和向量存储的自动配置和启动器 - 使用 start.spring.io 选择所需的模型或向量存储。

上述内容摘自:Spring AI 官网。

2、大模型专业名字介绍

2.1、RAG(检索增强生成)

image.png
大致思路:假如有个智能客服,它会优先去查询向量数据中数据,将查到的相关数据给 prompt对象 ,然后通过大模型响应给应用程序。

RAG 的基本原理

RAG 主要由 两个阶段 组成:

  1. 检索阶段(Retrieval):

    • 在生成文本之前,模型会从一个 外部知识库(如向量数据库、文档集合等)检索出相关的信息。
    • 这种检索通常使用 向量搜索(如 FAISS、Milvus)或基于搜索引擎(如 Elasticsearch)。
  2. 生成阶段(Generation):

    • 结合检索到的内容,大语言模型(如 GPT、LLaMA)使用这些外部信息来生成更准确、符合事实的回答。
    • 这种方式可以减少幻觉(hallucination),让生成的内容更加可信。
RAG 的关键技术

向量数据库:

  • 用于存储和检索文本嵌入(text embeddings)。
  • 常见的向量数据库:
    • FAISS(Facebook AI Similarity Search)
    • Milvus
    • Pinecone
    • Weaviate
文本嵌入(Embedding)

使用模型(如 OpenAI Embeddings、BERT、Sentence-BERT)将文本转换为向量,便于相似度搜索。

检索策略
  • 稠密检索(Dense Retrieval):基于神经网络(如 DPR、ColBERT),效果更优,但计算成本较高。
  • 稀疏检索(Sparse Retrieval):如 BM25,传统的基于关键词的检索方法。
RAG 的优势
  • 减少幻觉:模型基于真实检索到的内容生成回答,降低胡编乱造的概率。
  • 增强知识:即使预训练数据缺乏某些信息,模型仍可动态检索外部知识库。
  • 实时更新:相比 LLM 需要重新训练,RAG 只需更新知识库,适用于动态领域(如法律、医学等)。
  • 更精准回答:相比纯 LLM,RAG 结合检索数据,可提供更精确的参考来源。
RAG 的应用场景
  • 智能问答系统(如企业知识库问答、金融/法律咨询)
  • 代码自动补全(检索 GitHub 代码库,提高准确性)
  • 医疗辅助诊断(结合医学文献,提高生成答案的专业性)
  • 法律法规检索(查询法律条文,生成更符合规范的解读)
  • 客服机器人(实时检索 FAQ,提升客服效率)

2.2、fine-tuning(微调)

image.png

2.3、function-call(函数调用)

image.png

3、创建简单的Spring Ai项目

二.Spring Ai简单的智能应用

1、智能提问实现

yml 配置

yml 复制代码
spring:
  application:
    name: springai-demo
  ai:
    openai:
      api-key: you_api_key
      base-url: 你的api_key的请求路径
      chat:
        options:
          model: gpt-3.5-turbo  # 调用的哪个模型名称

由于调用 的是国外的open ai 大模型,需要“魔法”,所以我这里搞了中转站,请求中转站的 api-key和base-url,具体的做法 淘宝 搜 open api key

Controller,参考官方示例:
image.png

java 复制代码
package com.salmon.demo.controller;

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author Salmon
 * @since 2025-04-21 10:05
 */
@RestController
@RequestMapping("/ai")
public class MyController {

    private final ChatClient chatClient;

    public MyController(ChatClient.Builder chatClientBuilder) {
        this.chatClient = chatClientBuilder.build();
    }

    @GetMapping("/generation")
    public String generation(@RequestParam(defaultValue = "给我讲个笑话") String msg) {
        return this.chatClient.prompt()
                .user(msg)
                .call()
                .content();
    }
}

测试,http://localhost:8080/ai/generation?msg=给我简单介绍下spring ai
image.png
image.png

2、角色预设

假如你希望是一个特定场景下的智能体对话,可以进行角色预设。

在项目中的config包中创建AiConfig配置类

java 复制代码
package com.salmon.demo.config;

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author Salmon
 * @since 2025-04-21 10:07
 */
@Configuration
public class AiConfig {

    @Bean
    public ChatClient chatClient(ChatClient.Builder builder) {
        return builder
                .defaultSystem("你现在不是 chat gpt 了," +
                        "你是一个精通古代诗人的智能助手,有个诗人叫李白,知识渊博")
                .build();

    }
}

修改 Controller

java 复制代码
package com.salmon.demo.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author Salmon
 * @since 2025-04-21 10:05
 */
@RestController
@RequestMapping("/ai")
public class MyController {

    @Resource
    private ChatClient chatClient;

    @GetMapping("/generation")
    public String generation(@RequestParam(defaultValue = "给我讲个笑话") String msg) {
        return this.chatClient.prompt()
                .user(msg)
                .call()
                .content();
    }
}

测试,http://localhost:8080/ai/generation?msg=李白是谁?
image.png

3、流式响应

通俗点说流式响应就是将生成的文本内容一个字一个字的显示出来。

java 复制代码
package com.salmon.demo.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

/**
 * @author Salmon
 * @since 2025-04-21 10:05
 */
@RestController
@RequestMapping("/ai")
public class MyController {

    @Resource
    private ChatClient chatClient;

    @GetMapping("/generation")
    public String generation(@RequestParam(defaultValue = "给我讲个笑话") String msg) {
        return this.chatClient.prompt()
                .user(msg)
                .call()
                .content();
    }

    /**
     * 流式响应
     */
    @GetMapping(value = "/generation02",
            produces = "text/html;charset=utf-8")
    public Flux<String> generation02(@RequestParam String msg){
        return chatClient.prompt()
                .user(msg)
                .stream()
                .content();
    }
}

如果不设置 produces = “text/html;charset=utf-8” 输出内容会出现中文乱码。

测试:http://localhost:8080/ai/generation02?msg=李白是谁?10个字介绍下
image.png

4、ChatClient 和 ChatMode 区别

ChatClient Api 里是大模型通用的功能。

ChatMode Api 是大模型特有功能。假如用deepseek特有的模型功能需要用ChatMode Api
image.png
如:用 open ai 下模型:
image.png
代码:

java 复制代码
package com.salmon.demo.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.model.ChatModel;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.openai.OpenAiChatOptions;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

/**
 * @author Salmon
 * @since 2025-04-21 10:05
 */
@RestController
@RequestMapping("/ai")
public class MyController {

    @Resource
    private ChatClient chatClient;
    @Resource
    private ChatModel chatModel;

    @GetMapping("/generation")
    public String generation(@RequestParam(defaultValue = "给我讲个笑话") String msg) {
        return this.chatClient.prompt()
                .user(msg)
                .call()
                .content();
    }

    /**
     * 流式响应
     */
    @GetMapping(value = "/generation02",
            produces = "text/html;charset=utf-8")
    public Flux<String> generation02(@RequestParam String msg) {
        return chatClient.prompt()
                .user(msg)
                .stream()
                .content();
    }

    @GetMapping(value = "/generation03", produces = "text/html;charset=utf-8")
    public String generation03(@RequestParam(defaultValue = "给我讲个笑话") String msg) {
        ChatResponse response = chatModel.call(
                new Prompt(
                        // new UserMessage(msg)
                        msg,
                        OpenAiChatOptions.builder()
                                .model("gpt-3.5-turbo")
                                //让生成文字更有温度
                                .temperature(0.4)
                                .build()
                ));
        //等同于 .content
        return response.getResult().getOutput().getText();
    }

}

测试:http://localhost:8080/ai/generation03?msg=李白是谁?10个字介绍下
image.png

5、文生图(gpt-4模型和deepseek-r1模型)

yml 配置

yml 复制代码
spring:
  application:
    name: springai-demo
  ai:
    openai:
      api-key: xxxxxxxx
      base-url: xxxxxxx
      chat:
        options:
#          model: gpt-4o-mini
          model: gpt-4-32k
java 复制代码
package com.salmon.demo.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.model.ChatModel;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.image.ImagePrompt;
import org.springframework.ai.image.ImageResponse;
import org.springframework.ai.openai.OpenAiChatOptions;
import org.springframework.ai.openai.OpenAiImageModel;
import org.springframework.ai.openai.OpenAiImageOptions;
import org.springframework.ai.openai.api.OpenAiImageApi;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

/**
 * @author Salmon
 * @since 2025-04-21 10:05
 */
@RestController
@RequestMapping("/ai")
public class MyController {

    @Resource
    private ChatClient chatClient;
    @Resource
    private ChatModel chatModel;
    @Resource
    private OpenAiImageModel openaiImageModel;

    @GetMapping("/generation")
    public String generation(@RequestParam(defaultValue = "给我讲个笑话") String msg) {
        return this.chatClient.prompt()
                .user(msg)
                .call()
                .content();
    }

    /**
     * 流式响应
     */
    @GetMapping(value = "/generation02",
            produces = "text/html;charset=utf-8")
    public Flux<String> generation02(@RequestParam String msg) {
        return chatClient.prompt()
                .user(msg)
                .stream()
                .content();
    }

    @GetMapping(value = "/generation03", produces = "text/html;charset=utf-8")
    public String generation03(@RequestParam(defaultValue = "给我讲个笑话") String msg) {
        ChatResponse response = chatModel.call(
                new Prompt(
                        // new UserMessage(msg)
                        msg,
                        OpenAiChatOptions.builder()
                                .model("gpt-3.5-turbo")
                                //让生成文字更有温度
                                .temperature(0.4)
                                .build()
                ));
        //等同于 .content
        return response.getResult().getOutput().getText();
    }


    @GetMapping(value = "/generation04")
    public String generation04(
            @RequestParam(value = "message",
                    defaultValue = "画个美女") String message) {
        ImageResponse response = openaiImageModel.call(
                // 图片提示词
                new ImagePrompt(message,
                        OpenAiImageOptions.builder()
                                // 图片质量
                                .quality("hd")
                                // 图片模型
                                .withModel(OpenAiImageApi.DEFAULT_IMAGE_MODEL)
                                // 生成图片数量
                                .N(1)
                                .height(1024)
                                .width(1024).build())

        );
        return response.getResult().getOutput().getUrl();
    }
    
}

测试:http://localhost:8080/ai/generation04
image.png
将生成的图片地址粘贴浏览器地址栏:
image.png
换成 deepseek-r1 模型,官方文档:https://api-docs.deepseek.com/zh-cn/

yml 复制代码
spring:
  application:
    name: springai-demo
  ai:
    openai:
      api-key: xxxxxxxx
      base-url: xxxxxxxx
      chat:
        options:
          model: deepseek-r1

模型生成效果
image.png

觉得有用就点个赞,不用登录也能读

评论

0 条
登录 之后才能评论
—
还没有评论,来说第一句