智能问题反馈系统
时间未提及
预览视频
《从 0 搭建飞书智能工单系统｜LangGraph + pgvector RAG 全栈实战》
企业多模态任务处理Agent，实现问题反馈全流程自动化
背景
企业业务群中员工反馈问题形式多样（文字、截图、附件），依赖人工整理、分类、指派和跟进，流程繁琐且人力成本高
我的职责
项目负责人，负责整体架构设计、技术选型、核心模块开发与全流程落地
技术深挖
企业多模态任务处理Agent
问题：企业业务群中员工反馈问题形式多样（文字、截图、附件），人工处理效率低下且成本高昂，需要自动化解决方案。
方案与实现：基于飞书机器人生态，构建了一个完整的多模态任务处理Agent系统。该系统集成了Gemini多模态大模型和RAG知识库，实现了感知消息、AI智能判断、自动调用工具执行和业务闭环的全流程自动化，完全替代了人工操作。
我的贡献：我主导设计了整个Agent系统架构，确定了多模态处理与RAG结合的技术路线，并实现了从消息感知到闭环的全流程自动化。
业务知识库构建与维护
问题：大模型缺乏企业业务知识，且业务页面迭代快，人工维护规则跟不上变化且容易出错。
方案与实现：使用Playwright开发自动化爬虫，定期爬取业务平台所有页面，提取路由、功能和归属模块信息，经过清洗和结构化处理后形成标准业务模块数据表。将结构化数据向量化构建专属业务知识库，并实现定时增量爬取机制，确保知识库随业务更新自动维护。
我的贡献：我设计了知识库的数据结构和爬取策略，实现了从爬取到向化的全流程，并建立了自动更新机制确保知识时效性。
飞书群消息全方位感知
问题：需要实时接收和处理业务群中各种形式的问题反馈，包括纯文字、图文混合和附件形式。
方案与实现：对接飞书开放平台的机器人事件订阅API，实现实时监听业务群消息。系统设计了多模态消息解析器，能够识别和处理文字描述、截图标注和日志附件等多种反馈形式，为后续AI处理提供统一的数据输入接口。
我的贡献：我实现了飞书机器人事件订阅机制，并设计了统一的消息解析框架，确保系统能够全面感知各类问题反馈。
RAG+多模态问题解析
问题：直接使用大模型进行问题分类存在幻觉风险，且无法有效处理图文混合的复杂问题反馈。
方案与实现：采用先检索后推理的工业级RAG架构：首先将用户问题与业务向量知识库进行相似度检索，召回最相关的3个标准业务模块；然后将检索结果、用户文字描述和截图内容一起输入Gemini多模态大模型；通过强约束机制限制模型只能从检索到的模块中选择，从根本上杜绝AI幻觉。Gemini的图文联合解析能力使其能准确理解报错截图的场景和信息。
我的贡献：我设计了RAG检索与多模态解析的融合方案，实现了基于知识约束的AI判断机制，显著提高了问题分类的准确性。
自动执行与业务闭环
问题：问题分类后需要自动完成负责人指派、进度跟踪和闭环管理，减少人工干预。
方案与实现：系统维护了业务模块与负责人的映射关系，AI判断模块后自动匹配对应负责人，调用飞书接口实现精准@和问题推送。所有问题自动入库存台账，通过定时任务实现自动巡检、催办和超期预警。设计了状态识别机制，能够自动检测用户回复并完成问题闭环与归档，实现全流程自动化管理。
我的贡献：我设计了自动化执行流程和状态机机制，实现了从问题分类到闭环的全流程自动化，大幅减少了人工干预。
多模态任务处理Agent全流程
问题：需要构建一个能够感知、判断、执行并闭环的完整Agent系统，替代人工处理问题反馈的全流程。
方案与实现：设计并实现了一个端到端的多模态任务处理Agent，整合了飞书机器人、Gemini多模态大模型、RAG知识库和自动化执行工具。系统通过消息感知模块接收各类反馈，利用RAG+多模态AI进行智能判断，然后自动调用工具执行指派、催办等操作，最后通过状态识别实现闭环管理，形成完整的自动化处理链路。
我的贡献：我主导设计了整个Agent系统的架构和各模块间的交互机制，确保了从感知到闭环的全流程自动化实现。
能力亮点
AI Agent架构设计
设计感知-判断-执行-闭环的完整Agent流程，替代传统人工处理模式
多模态处理能力
整合文本与图像信息，实现复杂场景下的精准问题识别与分类
业务知识自动化构建
通过爬虫与向量化技术，实现业务知识库的自动更新与维护
架构 / 流程
基于飞书生态的多模态AI Agent架构，实现从问题感知到闭环的全流程自动化处理
技术栈
难点与方案
难点：大模型对企业业务不了解，易产生幻觉
方案：构建RAG知识库，采用先检索后推理的工业落地思路
效果：从根源上杜绝AI幻觉，确保问题分类准确性
难点：业务页面迭代快，人工维护规则困难
方案：开发自动化爬虫系统，定时增量爬取并更新知识库
效果：实现业务知识的自动更新，减少人工维护成本
难点：用户反馈形式多样（文字、截图、附件）
方案：利用Gemini多模态能力，统一处理不同形式的问题反馈
效果：全方位感知用户问题，提高问题识别准确率
成果
- 实现问题反馈全流程自动化
- 减少人工对接成本
- 提高问题处理效率与准确性