将非结构化文本转化为可用的数据
电子邮件、工单、合同、评论和转录稿中蕴含着您的系统在有人阅读之前无法使用的信息。我们构建 NLP 流水线来对这些文本进行分类、提取、摘要和搜索，使用诸如 spaCy 和 Hugging Face transformers 之类的库、大型语言模型，或两者的结合。流水线支持英语和其他语言，包括阿拉伯语、希伯来语和孟加拉语，会在您自己数据中带标注的样例上进行衡量，并将不确定的情形交给人员处理而不是猜测。
AI 辅助、专家验证的 NLP
AI 如何协助
- AI 为文本预标注以供标注使用；您的领域专家确认或纠正这些标签。
- LLM 起草提取提示词和测试用例，并与在您数据上训练的模型进行对比。
- 编码智能体起草流水线代码、连接器和评估脚本，供工程师审查。
- AI 按类型和语言对错误进行分组，以显示流水线在哪些地方表现吃力。
我们的专家负责什么
- 标签定义以及标注员遵循的指南
- 每项任务的模型或提示词，依据衡量得出的质量和成本来选择
- 置信度阈值，以及哪些条目进入人工审核
- 个人数据的处理：脱敏、访问和保留
每种方法通常适合的场景
这些只是示意性的起点；每项任务的最终选择来自对您自己带标注文本的测试。
| 规则 | 训练好的模型 | LLM 提示 | 人工审核 | |
|---|---|---|---|---|
| 语言检测 | 适合某些情况 | 通常很合适 | 很少是正确的选择 | 很少是正确的选择 |
| 主题和意图分类 | 适合某些情况 | 通常很合适 | 通常很合适 | 适合某些情况 |
| 姓名、日期和金额 | 适合某些情况 | 通常很合适 | 适合某些情况 | 适合某些情况 |
| 合同条款提取 | 很少是正确的选择 | 适合某些情况 | 通常很合适 | 通常很合适 |
| 情感和主题 | 很少是正确的选择 | 通常很合适 | 适合某些情况 | 适合某些情况 |
| 长文档摘要 | 很少是正确的选择 | 适合某些情况 | 通常很合适 | 适合某些情况 |
- 通常很合适
- 适合某些情况
- 很少是正确的选择
谁有需要处理的文本
您团队里的成员要阅读每一封进来的邮件、工单或合同，只为判断它该流向哪里，或从中提取几条细节，而积压的数量增长得比他们分类的速度还快。
- 支持运营部门按主题和紧急程度对进来的工单和邮件进行分类
- 法务和采购团队从已签署的合同中提取日期和条款
- 洞察团队阅读以多种语言撰写的评论和问卷
您将获得什么
围绕您的文本构建的 NLP 流水线
多语言处理
语言检测、翻译步骤以及按语言的评估，涵盖英语、从右到左书写的阿拉伯语和希伯来语、孟加拉语以及您需要的其他语言。
实体与数据提取
从合同、电子邮件和转录稿中提取姓名、组织、日期、金额以及您的自定义实体，并转入结构化字段。
分类与路由
意图、主题和优先级分类，将工单和消息路由到正确的队列，并将不确定的情形发送给人员处理。
情感与主题分析
跨评论、调查和工单的基于方面的情感分析和主题聚类，显示人们提到了什么以及他们对此的感受。
摘要与搜索
为长文档和转录稿生成摘要，并附带指向源段落的链接，再加上对您文本集合的语义搜索。
API、批处理作业和数据流
以 API、定时批处理作业或流处理器形式交付的流水线，连接到您的数据库、文档存储和应用。
文本处理的边界在哪里
- 与客户的对话属于 AI 聊天机器人，而在您产品内部的问答则属于 LLM 集成；这里的 NLP 是对文本进行批量处理。
- 扫描的页面、照片和手写内容需要先进行 OCR；该步骤属于计算机视觉的范畴，而 NLP 会在文本变得机器可读之后接手。
- 领域判断仍由您的专家负责：我们组织标注和衡量工作，但对您文本的法律、医学或政策解读来自您这一方。
- 翻译步骤服务于分析；为发布或法律用途而翻译的文档需要专业的翻译人员，而本服务不提供这一点。
典型的文本处理需求
我们所界定范围的典型场景，而非客户案例研究。
手工分类的共享收件箱
每天早上有人对共享收件箱进行分流。我们会按主题和紧急程度对消息进行分类，将有把握的消息直接发送到正确的队列，并把不明确的消息留在审核列表中，同时显示建议的标签。
埋藏在已签署合同中的关键条款
采购部门需要从已签署的合同中获取续约日期、通知期和责任限额。我们会提取每个字段，并附上它所来自条款的链接，同时在低置信度字段进入您的合同登记册之前将其发送给审核人员。
以多种语言到达的评论
某产品团队收到英语、阿拉伯语和孟加拉语的评论。我们会检测每条评论的语言，标记其中提到的方面以及对这些方面的情感倾向，按语言分别衡量质量，并将反复出现的主题归类，供团队阅读。
NLP 项目如何推进
- 01
任务与数据审查
定义每项任务、它的标签以及它所支撑的决策，审查涉及的每种语言的示例文本，并商定质量标准。
- 02
标注与基线
与您的专家一起标注一个测试集，然后在质量和成本上比较各种方法，从规则和 spaCy 模型到微调的 transformers 和 LLM。
- 03
流水线集成
将流水线构建为 API、批处理作业或数据流，带有置信度阈值、针对不确定条目的人工审核以及与您系统的连接。
- 04
监控与改进
在生产环境中跟踪质量、漂移和纠正内容，并在您数据中的语言发生变化时重新训练或调整提示词。
设计、QA 和运维如何为您的流水线提供支持
供您员工使用的审核界面
设计师构建员工用来核对提取字段、纠正标签和接受摘要的界面，使纠正变得快捷并反馈到评估中。
使用带标注测试集的 QA
QA 为每项任务和语言维护带标注的测试集，跟踪每个类别的精确率和召回率，并在模型、提示词或流水线发生变更后重新运行回归检查。
受监控的流水线
DevOps 通过队列监控、重试、告警和成本跟踪来运行流水线，可部署在托管 API 上，或在文本必须留在您环境中时部署在私有基础设施上。
长期保持质量
我们监测漂移，例如您文本中出现的新产品、术语或语言，与您一起审核纠正内容，并在回归检查后更新模型或提示词。
常见问题
常见问题解答
你们能支持哪些语言？
英语以及许多其他语言，包括阿拉伯语、希伯来语和孟加拉语。质量因语言和任务而异，因此在承诺之前我们会在您自己的文本上评估您需要的每种语言，并在某种语言现成模型较少时规划额外的标注工作。
我们应该使用 LLM 还是自定义 NLP 模型？
这取决于处理量、成本、速度以及任务的稳定程度。LLM 能够在标注数据很少的情况下处理各种任务；较小的训练模型在高处理量下往往更便宜且更一致。我们会在您的测试集上对两者进行比较，而且许多流水线会将两者结合使用。
它的准确度会有多高？
在看到您的数据之前我们无法承诺一个数字。我们会在开发前与您商定目标指标，在您的专家已核对过的测试集上进行衡量，并将低置信度的结果交给人员处理，而不是将其当作确定的结果传递下去。
敏感文档能否留在我们的环境内部？
可以。流水线可以在您的云账户中或使用开放权重模型在私有基础设施上运行，并且个人数据可以在任何外部调用之前被脱敏。对于我们的开发工作，私有 / 本地 AI 工程 在约定的边界内运行 AI 编码模型；Claude Code / OpenAI Codex 工程 在约定的账户条款下使用商用编码智能体。
相关阅读
- 减少 RAG 应用中的无依据回答
检索质量、文档权限、证据和评估如何能减少无依据的回答——以及一个知识助手在哪些方面仍然需要设定限制。
