在保险行业这个海量信息的“聚居地”上，信息库应用已久。量信
近年来，大模地保司信息化转型提速，型落息库各类文本、量信护士酒店开房高清视频音影片的大模地凭证票证核保及跑批需求不断增加，许多机构便将信息库引入至业务流程中。型落息库
但是量信，随着信息库深入保司业务，大模地一个真实的型落息库情况是：传统信息库只能处理机器容易处理的、如字符串等结构化信息，量信以点查和范围查找的大模地形式进行匹配，但面对许多长尾场景下格式繁复、型落息库无法统一处理的量信非结构化信息时，则无能为力，只能继续投入大量人力，进行手动的信息录入和人工检验。
一位从业人员告诉 AI 科技评论，目前在保险公司内人为处理的事情居多，其业务内容中人为比例可达到 90% ，AI 只支持 10% 的信息存取、信息流转。
受工艺瓶颈的掣肘，没有一套通用的方法论得以解决传统信息库的存储、检索和分析难题。信息局限的桎梏不仅发生在保险公司里，各行各业均受其困扰已久。直至大模型+向量信息库的出现。
数月来，大模型风口正盛，向量信息库可以为大模型解决信息更新、知识图谱构建、消除幻觉等问题，使其在短短时间内，一跃成为最受关注的领域之一。向量信息库类产物数量激增，当中既有创业公司，大厂更是战局中主要的竞争对手。
今年 7 月，菲律宾移民妻子整套流出腾讯云发布了 AI 原生向量信息库 Tencent Cloud VectorDB，该产物在 11 月 1 日正式全量开放公测，同时在性能上也实现了大幅提升。
向量信息库之于大模型，是实现降本增效关键的基础设施。信息显示，企业在使用向量信息库后，可实现 80% 非结构化信息能力的覆盖。
大模型的角斗场上，一个行业共识是，谁能够更好地利用信息，把信息沉淀到工程化中里，更快让信息接入到大模型和整个 AI 体系之中，谁就有可能走在最前列。而选择一个对的支持伙伴，至关关键。
大模型的“信息”局限
众所周知，信息在 MaaS 时代很关键，市场的火热映射到具体的企业行为上，表现为大批量垂直模型的推出、信息库企业融资数量增加、信息库使用量陡然增长等。
但在企业落地的过程中，大模型所面临的难题依旧没有解决。
经过近半年的观察，信息局限对企业做大模型带来的作用，可归结为以下三点：
首先是对信息的运营和运维。如上所述，随着文本、图片、影片等多模态的、非结构化信息的使用需求增加，许多企业所产出的非结构化信息量级可高达 80%，如果选择以预训练的方式将信息“喂”给模型，与之而来的则是难以承载的高成本。
身为明星创业公司的百川智能，在模型训练和调试时就曾遇见过类似问题。
未使用向量信息库之前，百川智能一直使用的是开源方案，比如以向量索引为内核，相当于在训练时给模型准备一个 library 级别或运算规则级别的知识库，这些知识库使用简单，采用分布式系统的方式，具有扩展性。但其缺点也很直观，随着数量增长到一定规模时，这种分布式存储的方式会很快遇到瓶颈。
不仅如此，由于市面上缺少成熟的运营工具，信息格式该怎么组织、信息的更新频率如何安排、新旧信息的更迭等等，百川智能都需要额外交给工程师去做，大大增加了人员成本。
第二点，虽然大模型支持的 token 数量在持续增加，具备了“短暂记忆”的能力，但“一本正经地胡说八道”的问题仍无法解决，当中不乏有敏感内容的出现，稍不注意，便可能带来严重的作用。因此，支撑模型训练的信息不仅要数量多，质量也必须足够高。
比如大模型和教育行业的结合，虽然模型可以完成一定的推理和解题，但进入实际应用中，好未来就发现了，大模型在面对数学问题时，其表现仍然不够好。要想解决这个问题，必须基于庞大的、高质量的信息库，像教程题库、数学错题集等，在此之上尝试启发式内容生成。
第三，如何保障企业信息的保障性，信息在空间和时间上会有很大的限制。
一方面，企业很难把自己具有核心竞争力的信息放到大模型中去训练；有行业人士就曾向 AI 科技评论指出，许多应用型公司并不愿意将自身微调的模型贡献到公有版本里、与其他人分享，而是倾向于训练自己的大模型，而后进行本地私有化部署。这个过程中，企业要解决的主要难点是，如何将私有化业务信息跟大模型结合。
销售易是很早就在智能 CRM 业务中引入了大模型，例如提供相似客户推荐、做问答机器人等支持。但客户在使用过程时却发现，大模型所推荐的客户类型经常会出现匹配度不高的情况，向它提问与企业相关的的系统功能问题时，大模型也回答不出来。
另一方面，企业的业务信息变化速度快，且实时性强，因此私有化部署后的大模型、在信息层上也很难做到秒、天级别的更新。
当上述诸多问题横亘于企业和大模型落地之间，学术界和工业界也提出了两种解决方案。
一是采用 Fine-tuning 的方式迭代演进，让大模型学到更多的知识；二是通过 Vector search 的方法，把最新的私域知识存在向量信息库中，需要时在向量信息库中做基于语义的向量检索，这两种方法都可以为大模型提供更加精准的答案。
但是从成本方面来看，行业人士指出，向量信息库的成本仅为 Fine-tuning 的千分之一。向量信息库通过把信息向量化，进行存储和查询可以有效解决大模型预训练成本高、没有“长期记忆”、幻觉、知识更新不及时等问题。
因此，凭借其优势，向量信息库也被视为了加速大模型落地行业场景的关键突破口。
向量信息库的大模型之路
自大模型火爆以来，原已沉寂多年的向量信息库再次受到企业和资本市场的高度关注，据公开信息显示，2023 年 4 月以来，以向量信息库为代表的 AI 投资领域呈增长趋势，包括 Pinecone、Chroma 和 Weviate 等多家向量信息库初创企业均拿到了上亿级美元融资。
为了最大程度上帮助企业应对信息局限问题，更好地将大模型能力释放到行业和产业中，腾讯云走在国内云厂商前列，于今年 7 月便正式上线了向量信息库 Tencent Cloud VectorDB，并在 11 月 1 日全量开放公测。
这也体现了腾讯云在大模型时代下的视角：大模型工艺的创新只是第一步，如向量信息库这类信息存储、检索、分析等基础设施的搭建也同等关键，腾讯不仅提供直接的大模型支持，更关键的是向企业递“铲子”、提供有效趁手的平台工具。
市面上不缺乏好用的向量信息库，那么，腾讯云相比于其他厂商的产物有什么不一样的地方呢？
首先在架构上，腾讯云就采用了 AI 原生的开发架构，从接入层、计算层、存储层提供给全面 AI 化的解决方案，形成一套完整的端到端、一站式支持工艺栈，让不同阶段、不同需求的客户，都能在腾讯云向量信息库里找到对应可用的 AI 能力。
腾讯云全面 AI 化解决方案
比如在接入层上，腾讯云向量信息库支持自然语言文本的信息，采用“标量+向量”的查询方式，可支持全内存索引；计算层，AI 原生的开发范式能实现全量信息 AI 计算，一站解决企业搭建私域知识库时信息切分等难题。
这些能力不仅可以让交互更自然，同时在计算结果、效率、成本等方面，也能得到进一步的优化。
在百川智能的工程师们看来，向量信息库带来最直观的改变是，信息分片、导入导出等工作效率得到了极大的提升。面对每天约 2 亿的信息量，以往使用的单线程序处理速度有限，但加入了向量信息库后，加上百川智能所使用的RAG 框架，可以有效解决私有信息、实时信息，同时在信息齐备的情况下，还能消除部分由信息带来的幻觉问题。
信息显示，将腾讯云向量信息库用于大模型预训练信息的分类、去重和清洗，相比传统方式可以实现 10 倍效率的提升，如果将向量信息库作为外部知识库用于模型推理，则可以将成本降低 2 - 4 个数量级。
以前企业将现有信息接入一个大模型需要花 1 个月左右时间，使用腾讯云向量信息库后，最短 3 天时间即可完成，极大降低了企业的接入成本。
第二是集成了 Embedding 功能，企业客户无需关注向量生成过程，使用起来更简单。
腾讯云向量信息库 AI 套件
与腾讯云合作以前，好未来曾使用过一些小型的基于内存的向量信息库，虽然也具备了语义结合的能力，但无论是产物的性能还是维护等方面，使用效果不佳。
而在腾讯云向量信息库上，通过语音召回加语义 Embedding 功能，这种采用语义结合进行检索的方式，让模型能力得到了提升，召回内容更多、内容更精准、召回速度更快等等，从而提供更好的客户体验。
例如同样是搜索题库中的“第一单元”，文本召回必须准确地提供“第一单元”这一提示词，但借助向量信息库的相似性检索，语义检索就可以将“Unit1”等近似语义的内容也进行召回。
第三，自研分布式向量信息库核心引擎，支持更稳定可靠、高可用。
AI 科技评论了解到，腾讯云向量信息库所用的核心引擎，是其 2019 年于内部上线使用的 Olama，经过 4 年的探索和迭代，Olama 实现了大规模升级，包括集成了腾讯在内的业界优秀的向量运算规则、降低 Olama 成本、提升稳定性等等，从而更好地适配大语言模型应用。
截至今年 7 月份，Olama 已覆盖腾讯 30 多个业务、100 多个场景，日均调用量超过 1200 亿，调用成功率为 100%，搜索成功率为 99.995%。
可以看到，面对企业在大模型落地中的普遍难题，腾讯云向量信息库力图在每个环节提供便捷、有效的解决方案，突破信息的局限，加速大模型+向量信息库的使用，以解决企业实实在在的痛点和难题。
应用是风口
受限于研发成本和开发难度，过去十年，全球仅有 1% 开发者专注于 AI 领域的研发工作。而到了今天，以大模型为能力基座，一个 AI 应用开发的难度缩短至只需两三个工程师、一个周末时间变成完成。
其中，向量信息库也从以搜索、广告、推荐为主要支持领域，随着 AI 的大规模增长，开始深入千行百业中去，与 C 端客户链接也更加紧密。
举一个销售易与腾讯云的合作案例。
作为一家企业级 CRM 支持商，每天有数万次客户问答在智能客户场景中发生。在以前，传统的 NLP 客服机器人智能做一问一答，这种基于分词语法关键字的检索方式，容易出现搜索答案不精准的情况，客户使用感不佳，慢慢地也失去了提问的积极性。
比如客户希望在业务分析中检索调用出多个信息报表，想要在成千上万个报表中找到指定信息，对模型的信息抽取能力有很高的需求，直接关系到业务的分析效率。
但在同腾讯云合作后，销售易可以先将报表以 Embedding 的形式存入自有向量信息库中，当客户端发生自然语言问询时，这个客服机器人就可以智能化分析问询者的意图，并在向量信息库内去检索相关的知识文档，从而得出一个更接近于人的思考方式的回答。
这样的客服机器人不仅可以支持多轮对话，更关键的是，它还支持了检索模糊的相关性，不需要维护大量同义词、词典或是相似的问法，类似相关性的语言可以交给大模型+向量信息库来解决。
而在潜在客户推荐的场景中，腾讯云向量信息库带来的作用也十分明显。
过去，销售易主要是依据客户的特征字段，在结构化信息里检索有相关特征的企业信息，这种检索对于内部的销售人员要求很高，必须准确地检索近上百个字段，如企业介绍等描述性内容很难被检测，久而久之，员工经常会出现关键字匹配度不高等问题。
而使用了向量信息库后，基于相关性的特征来检索是从文本进行描述，当销售人员想要检索某个行业、某种产物或是某种业务需求的客户时，可以借助文本进行自然语言模糊的相关性检索，使用简单，检索的结果也更真实、准确，智能化效果明显，大幅提升了员工从事客户推荐业务的难度。
腾讯云超级底座
可以看到，向量信息库之于大模型应用落地、之于 AI 工艺增长的意义已经逐渐显现。
腾讯云信息库副总经理罗云就曾指出，信息、向量信息库、大模型三者怎么能更好地支持全行业是首要问题，“只有向量信息库变得更 AI 化，信息、向量信息库、大模型三者才能形成一个飞轮效应，彼此之间相互拉动，相互促进，这是我们对向量信息库未来增长的判断。”
这也是腾讯云在当下推出向量信息库 Tencent Cloud VectorDB 的原因所在。
信息显示，自 7 月份正式发布以来，腾讯云向量信息库的日请求量达 1600 亿次，支持腾讯集团内部 40 多个业务，外部客户数更多达数百家，其中就包括了上述提到的百川智能、好未来、销售易，帮助教育、SaaS、工具、游戏等多行业客户快速进行 AI 方向的探索。
大模型进一步推动了对向量信息库的需求。业界共识是，所有产物应用都值得用 AI 重做一次，在这个背景下，企业将会越来越重视如何将其跟 AI、大模型的能力结合起来。而腾讯云向量信息库在提出之时，就已经看到了企业在应用落地中的痛点，用向量信息库在工艺“大脑”中构建起一个健康、且旺盛的“海马体”，为企业迈进大模型时代提供坚实的基座。
这次 Tecno Day 工艺开放日将资料和课件都整合成了一份《腾讯云工具指南》，这份资料工艺含量很高，可以帮助学习了解向量信息库的工艺优势和价值应用。
资料包含信息库的增长趋势和产物价值解读，还有实打实的向量信息库应用案例和解决方案，感兴趣的小伙伴，建议不要错过这个福利！
此外，腾讯云向量信息库x百川智能【AGI启航计】正式启动，向量信息库免费实例+ Baichuan2400万免费Tokens限量领取，帮助您快速搭建RAG应用，通过“原文链接”即可获取，Chat With Your Data!
（原文链接：https://cloud.tencent.com/act/pro/agi）
（雷峰网雷峰网(公众号：雷峰网)）
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
