AnythingLLM 调用 DeepSeek,基石智算让知识库更智能
创始人
2025-03-20 20:40:55
0

在人工智能应用的实践中,个人和企业常面临技术门槛高、模型选择受限、数据处理复杂、协作管理难、部署耗时长等难题。一站式获得多模型兼容、多数据处理、多用户协作等能力,将有效解决以上难题。基石智算CoresHub 凭借高度标准化的平台与应用集成,让用户能够构建便捷、灵活的开发环境,快速获得所需的模型与 AI 应用。

本文将以青云科技旗下AI算力云——基石智算大模型服务中的 DeepSeek-V3 为例,向用户介绍如何在 AnythingLLM 中调用相应模型,部署自己的 AI 应用。

#

AnythingLLM 是一款开箱即用的一体化 AI 应用,支持 RAG(检索增强生成)、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题,适合快速搭建私有知识库和智能问答系统。AnythingLLM 的主要特性包括:

多种部署方式:支持云端、本地和自托管部署。

多用户协作:支持团队协作,适用于企业知识管理和客户支持。

多模型支持:兼容 OpenAI、Anthropic、LocalAI 等主流大模型。

多向量数据库支持:支持 Weaviate 等向量数据库。

多文件格式处理:支持 PDF、TXT、DOCX 等文件格式。

实时网络搜索:结合 LLM 响应缓存与对话标记功能,提供高效的文档管理和智能问答能力。

#

步骤一:获取 API 密钥和域名

注册并登录基石智算。

在顶部导航栏,选择产品与服务 > 大模型服务 > 大模型服务平台。

进入大模型服务管理页面,在左侧导航栏中选择 API 密钥管理,创建并获取 API 密钥。

说明:

若平台内无可用的 API 密钥,用户可参考创建和获取新的 API 密钥。

若平台内已有可用的 API 密钥,用户可直接将鼠标悬停在指定密钥上,点击 API 密钥右侧的复制按钮,即可获取完整的 API 密钥。

用户可在左侧导航栏选择在线推理服务,点击目标模型卡片页中的 API 文档,查看预置模型 API 服务接口路径,即为模型的 API 域名。

说明:当前平台上的预置模型的 API 域名为,用户可直接使用无需修改。

步骤二:安装和使用 AnythingLLM

访问 AnythingLLM 官网,下载并安装客户端。

注意

用户根据本地电脑自行选择相应的安装包下载即可。

本实践中使用 MacOS 系统的 AnythingLLM 客户端,其他系统的客户端界面可能存在差异,以用户下载的版本界面为准。

首次启动 AnythingLLM 客户端,直接点击开始。

进入 LLM 偏好配置页面,在大语言模型供应商(LLM Poviders)中选择 Generic OpenAI,并配置各项参数。

Base URL:智算平台上的预置模型的 API 域名为,用户可直接使用无需修改。

API Key:用户在获取 API 密钥中复制得到的完整 API 密钥,需根据实际情况进行修改。

Chat Model Name:本实践中使用 DeepSeek-V3 模型。若需使用平台内其他模型,用户仅需在智算平台的在线推理服务页面,复制得到相应模型名称即可。

其他参数,用户可根据实际情况进行修改或保持默认。

依次点击下一步,完成所有配置后,按照页面提示输入 Workspace 工作区名称,进入主界面即可开始对话。

点击工作区名称右侧的上传按钮。

在弹出的新窗口中,上传相应文件,并将相应文件移动至工作区,从而加载到 AnythingLLM 的本地知识库中后,点击 Save and Embed 即可。

说明:出现 Workspace updated successfully 的提示就表示知识库配置已经完成。

在 Workspace 工作区界面中,点击 New Thread 开启新的对话,在聊天区域中提问后,AI 大模型会根据知识库中的内容进行回答。

其他操作

若用户并非第一次使用 AnythingLLM 客户端,需修改相应的大模型供应商和所使用的模型,可参考以下操作。

启动 AnythingLLM 客户端,在工作区的界面中,点击设置按钮。

在设置页面,选择人工智能提供商 > LLM 首选项,修改相应模型配置参数即可。

相关内容

热门资讯

原创 预... 从销量上来看,两千元左右的手机更受大众消费者的喜爱,这其中爆发了不少爆款手机,而国内各大手机厂商也都...
“最准最快最久最少”纷纷亮相,... 医疗器械及医药保健展区一直都是进博会上“最卷”的展区之一。要得到关注,不拿出“绝活”不行。在本届进博...
eaapp错误代码ec201怎... eaapp是许多玩家常用的游戏平台之一,像ea的体育竞技类游戏,在游戏市场中热度极高。但一些玩家在使...
新型显示产业前景广阔 ● 本报记者 康曦 12月19日-20日,以“显示无处不在·映照万千气象”为主题的世界显示产业创新发...
大模型专题:6G网络面向大模型... 今天分享的是:大模型专题:6G网络面向大模型的分布式学习白皮书 报告共计:24页 6G网络愿景是实现...
努比亚Z70 Ultra星空版... 近日,努比亚手机官方宣布,其最新旗舰机型Z70 Ultra星空典藏版将于2024年11月21日正式发...
原创 千... 在上个月联发科抢先高通,率先发布了自己的新款旗舰处理器天玑9400,并且在新机这块也比搭载高通的骁龙...
空净十大品牌IAM“净润大师”... 11月5日,第七届中国国际进口博览会在上海拉开帷幕。本届进博会立足全球视野和创新科技,为推动中国高水...
星海系列:人形机器人与AI大模... 今天分享的是:星海系列:人形机器人与AI大模型之Robot+AI的Transformer之旅 报告共...
经济日报观察:国产手机为何集体... 近1个月来,国产手机新品密集发布。华为终端负责人日前在社交媒体透露,备受关注的华为Mate70系列手...