大伙可以构建自己的ai模型库，断网也可以用(合集转寄)

己构建了个人专业知识库，文档库变向量库，然后粗筛工具，精排工具，到这就可以不联网使用了，如果觉得精排输出太生硬，可以再连个最便宜的llm，把精排结果给llm,组织一下语言，再输出给你，以上过程需要写一个Python脚本，这个Python脚本你就当个agent用即可，去掉llm你不用花一毛钱，只是需要你把你们行业的电子书都搞到手. btw,这种模型库不知道是不是可以构建个人性格库，推演对手遇到某种情况会做什么决策 [upload=1][/upload]

求带

孟教授，教我

昨天花了一天在Windows上搭建好了，可惜我的显卡不给力，问个问题也不能快速回复我，需要十几秒 你想搭建如果是AMD显卡只能在Linux下搭建因为ROCm对Windows上的AMD显卡支持很差，12g显存十几秒就满了，显卡直接crash. 详细步骤没法写，细节太多，只能告诉你关键词，embed 是建向量库的，remark是精排，olloma里面有本地llm可以当汇总输出.

个人专业知识库，文档库变向量库 这个咋搞的？？ 我也想搞这个呢

这个对显卡要求很高的，花几千块钱买个显卡，还不如买token呢，对于一般的个人用户来说。当然如果你买显卡可以报销，那另当别论

也不会每次使用都建库，更新资料时候需要建库，那就耗费些时间，其他查询时候CPU足够了，也不一定非要用gpu，内存大一点即可最好48G,因为我发现我建库时候内存经常到33G

给几个链接？谢谢谢谢

水木不允许帖链接，你可以CSDN找一下，构建本地知识库模型，记录一下细节，搭起来挺麻烦

可以整台苹果家的机器，我的mbp m1 32g当年都能跑32b的ds。

好像有人推荐过用ima搭建？

如果你想找一个能跑在物理隔离局域网里、能处理涉密文件、完全不需要连外网的知识库系统，那需要的是基于 Ollama + AnythingLLM 这类工具自建的方案。 而 ima 是一个功能强大的、用于处理非涉密文件的、提升个人或团队工作效率的互联网知识库工具。它的核心能力都来自云端。

你估计连什么是rag都没搞懂，就给人乱出主意了 现在对话软件或者ai辅助编程都是一个agent客户端，llm在商家服务器那，结果通过网络输出给agent呈现给客户，本地rag是全套的llm，检索，推理，精排，资料数据向量库生成，都是在本地机器上跑，根本两码事，一个是买厂家东西用，一个是自己建厂

我是用ollama搭了一个本地DS模型，但是笔记本没GPU，太慢了 融合了好几种RAG哈，Wiki，graphicRAG还有AgenticRAG [upload=1][/upload]

硬件啥配置？多少钱？

不是本地部署吗？我理解错了？

只有AMD gre6750显卡，并且Windows的Rocm还不支持我的显卡，我自己电脑不想换Ubuntu，所以rag的所以模块都用CPU老，问一个问题得51秒才能回复给我

我就用自己台式机，凑合用，检索回复很慢的，因为我的gpu不行，起码上个4080吧，最好是nv的，AMD的支持有限，如果你gpu够好，CPU无所谓，内存倒是要大一些64g起步吧

最新的trae就能干这个,dy上搜一下，有教程

不用olloma了，改用lmstudio支持我的AMD显卡，没有显卡就是很慢，显存太小也不行，我12g的显存只能用10b左右模型，不少14b模型都15g. 你说的这些rag是别人集成好了你直接用还是也需要你找工具一点点组成rag

我就是让AI增加这些RAG，然后他就写出来了，都是python代码，没有任何sdk 并且有个文件负责识别管理调用这些rag

莫不是你给ai输入rag，依据ai建议你挨个下载，让ai写py脚本调用的？

你是说requirements吧，我看了里边都是基础库，没有任何rag相关的 fastapi==0.104.1 uvicorn==0.24.0 langchain==0.2.0 langchain-community==0.2.0 langchain-ollama==0.1.0 chromadb==0.4.22 pypdf==3.17.4 pdf2image==1.17.0 python-docx==1.1.0 openpyxl==3.1.2 python-multipart==0.0.6 pydantic==2.7.4 pydantic-settings==2.1.0 sentence-transformers==2.2.2 tiktoken==0.5.2 aiofiles==23.2.1 python-dotenv==1.0.0 networkx==3.2.1 watchdog==3.0.0 httpx==0.25.2

你这些库我搭rag时候也需要，估计是协议类工具

谷歌Gemma4不是16g就能跑了吗？

你说的是本地llm，我说的是rag，不是一个东西

有没有教程？

关键自己搭建的有没有买token的聪明？

没听说过什么叫保密呀

没有，根本不是一个量级，glm5.1听说是744B不知道得多少G，自己也买不起能跑glm5.1这种的专业显卡，自己搭最合理的就是搭建rag，rag末端连买token的llm，主要是构建个人知识库，或者很多公司不想让自己公司特有知识流传到外网，向量库加密

我去年试过，搭建自己知识库，连塞进知识库的文章都找不到，不知道是我的搭建问题还是它的智力问题 保密方面，codex， claude code让ai在本地知识库操作，还是多少能解决点问题，当然，密级太高也没办法

听你描述大概率是你的问题，本地embed给了Python接口，指定知识库路径，写Python调用embed的接口就可以把PDF或者word文件变为向量库了

应该不是，如果一个文件认不出来我也会觉得是我的问题