转寄人: ZabraZoe (ZabraZoe)
标 题: 4090单显卡跑deepseek和GLM了
发信站: 水木社区 (Sat Oct 31 11:53:21 2026)
来 源: 120.245.106.114
【以下内容由 ZabraZoe 转寄于 Programming 版】
标 题: 4090单显卡跑deepseek和GLM了
发信站: 水木社区 (Sat Oct 31 11:53:21 2026)
来 源: 120.245.106.114
【以下内容由 ZabraZoe 转寄于 Programming 版】
改成5090 + 128GB，是不是能流畅点
github /Indras-Mirror/Xolotl
Xolotl (formerly Strata-DSV4.1): DeepSeek-V4.1-Flash, all 552B, on one gaming PC (RTX 4090 + 90 GB RAM) at ~27 tok/s, plus GLM-5.3-Flash, Qwen3.8-Flash-Next and Qwen3.8-27B. A heavily extended fork of Strata: MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic API.
RTX 4090 48GB跑Qwen3.8 flash next的速度还可以。
我先买了一张48GB水冷的花了2万8多点，过了几周跑稳定了就把以前1万3买的4090 24GB卖了二手，2万1出的，算下来这次也就为本地大模型支出了7000多，总算是也跟风吃到硬件涨价福利了，RTX Pro 6000 96GB实在涨得太狠，我现在也就业余玩玩编程又不是全职工作，实在下不去手便宜老黄。
[upload=1][/upload]
【 在 z16166 的大作中提到: 】
: 改成5090 + 128GB，是不是能流畅点
: github /Indras-Mirror/Xolotl
: Xolotl (formerly Strata-DSV4.1): DeepSeek-V4.1-Flash, all 552B, on one gaming PC (RTX 4090 + 90 GB RAM) at ~27 tok/s, plus GLM-5.3-Flash, Qwen3.8-Flash-Next and Qwen3.8-27B. A heavily extended fork of Strata: MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic API.
※ 来源:·水木社区 http://www.mysmth.net·[FROM: 171.213.141.*]
flash next 确实是本地之神
PRO 6000竟然涨到16万了。。。太夸张了
这个项目貌似就是strata吧。不知道pro6000上跑1017能到什么效果
晚上试试
【 在 poocp 的大作中提到: 】
: RTX 4090 48GB跑Qwen3.8 flash next的速度还可以。
: 我先买了一张48GB水冷的花了2万8多点，过了几周跑稳定了就把以前1万3买的4090 24GB卖了二手，2万1出的，算下来这次也就为本地大模型支出了7000多，总算是也跟风吃到硬件涨价福利了，RTX Pro 6000 96GB实在涨得太狠，我现在也就业余玩玩编程又不是全职工作，实在下不去手便宜老黄。
: [upload=1][/upload]
显卡越厉害，内存越大，越想跑量化bit高、上下文长的版本，所以最终可能是一个平衡，token速度满意就行。
现在这个，量化bit低、token速度慢，中低端显卡上还不堪实用，有待进化
【 在 BIGDADY111 的大作中提到: 】
: flash next 确实是本地之神
: PRO 6000竟然涨到16万了。。。太夸张了
: 这个项目貌似就是strata吧。不知道pro6000上跑1017能到什么效果
中低显卡能跑flash next 不错了。能力比 deepseek flash 0731还强，1/3参数
本地任务完成度已经很高了
我还想冲冲。目前做视频 flash next 写的分镜一次成型比率还偏低。
其他任务基本靠谱。甚至给sglang接了个算子支持新的格式
【 在 z16166 的大作中提到: 】
: 显卡越厉害，内存越大，越想跑量化bit高、上下文长的版本，所以最终可能是一个平衡，token速度满意就行。
: 现在这个，量化bit低、token速度慢，中低端显卡上还不堪实用，有待进化
跑成功了 本地大概只有50-60toks,在热专家的情况下
如果抽到冷专家不知道会降多少
prefill 太慢了，感觉用agent有点没法忍
【 在 z16166 的大作中提到: 】
: 显卡越厉害，内存越大，越想跑量化bit高、上下文长的版本，所以最终可能是一个平衡，token速度满意就行。
: 现在这个，量化bit低、token速度慢，中低端显卡上还不堪实用，有待进化
优化到可用了，留了12g给comfyui，prefill大提取，decoding还能有56
后面几天测下精度。虽然速度慢很多，勉强算能用
感谢推荐
【 在 z16166 的大作中提到: 】
: 显卡越厉害，内存越大，越想跑量化bit高、上下文长的版本，所以最终可能是一个平衡，token速度满意就行。
: 现在这个，量化bit低、token速度慢，中低端显卡上还不堪实用，有待进化
还有个类似的，维护的人多一些
github /mw00/project-maya
【 在 BIGDADY111 的大作中提到: 】
: 优化到可用了，留了12g给comfyui，prefill大提取，decoding还能有56
: 后面几天测下精度。虽然速度慢很多，勉强算能用
: 感谢推荐
这个主流些吧？基于STRATA
以前用过vllm moet,他设想的方式理论上更好一些，动态把热区拉起，反向量化到4BIT 提高精度
但实现得不好
作者也不交流，导致后面更新跟不上。模型胡言乱语问题解决不了
现在看XOLOT的瓶颈在prefill,每次要sweep所有权重
我在试试全放显卡加内存，改一下分配机制，减少两者叠加部分看行不行
另外下了块7000速度的硬盘试试能不能提速
【 在 z16166 的大作中提到: 】
: 还有个类似的，维护的人多一些
: github /mw00/project-maya
但用惯了 200tk/s 的速度，降下来还真是受不了
【 在 z16166 的大作中提到: 】
: 还有个类似的，维护的人多一些
: github /mw00/project-maya
maya的prefill 好很多 能到2000
xolot不知道怎么的 最高只能到400
这两用来正常对话都没什么问题
但用来搞agent太痛苦了。长上下文和并发实在让人没耐心。。。
【 在 z16166 的大作中提到: 】
: 还有个类似的，维护的人多一些
: github /mw00/project-maya
这个人用魔改版的48G跑到70/s
[upload=1][/upload]
【 在 BIGDADY111 的大作中提到: 】
: maya的prefill 好很多 能到2000
: xolot不知道怎么的 最高只能到400
: 这两用来正常对话都没什么问题
他跑的xs xs 是120G版
主要卡点是长上下文、prefill和并发
decoding不是难点
不过他这个TTFT7秒确实挺短
【 在 z16166 的大作中提到: 】
: 这个人用魔改版的48G跑到70/s
: [upload=1][/upload]
这个不错，我得复现下试试。
不过我的4090 48g也承担了一堆杂项任务...得先挪走...
主要是我还有4张显卡在落灰，但这些都是物理硬件活...agent帮不上忙...先在真就是agent干不了我就懒得干了的感觉...
【 在 z16166 的大作中提到: 】
: 这个人用魔改版的48G跑到70/s
: [upload=1][/upload]
看了几个优化思路准备搞一下
一个是跨任务前缀缓存复用
二是把maya glm 的并发接过来
maya真奇怪，deepseek 上不做并发，glm上做
【 在 z16166 的大作中提到: 】
: 这个人用魔改版的48G跑到70/s
: [upload=1][/upload]
这个3.8 flash next在48GB显存上能跑多大context？
【 在 poocp 的大作中提到: 】
: RTX 4090 48GB跑Qwen3.8 flash next的速度还可以。
: 我先买了一张48GB水冷的花了2万8多点，过了几周跑稳定了就把以前1万3买的4090 24GB卖了二手，2万1出的，算下来这次也就为本地大模型支出了7000多，总算是也跟风吃到硬件涨价福利了，RTX Pro 6000 96GB实在涨得太狠，我现在也就业余玩玩编程又不是全职工作，实在下不去手便宜老黄。
: [upload=1][/upload]
跑满256K
【 在 KeepHope 的大作中提到: 】
: 这个3.8 flash next在48GB显存上能跑多大context？
本地部署得大模型和在线服务得大模型效果有区别吗？如果有区别大吗，另外，除了初期投入，耗电量怎么样，不考虑保密得情况下，月消费多少以上适合本地部署
【 在 poocp 的大作中提到: 】
: RTX 4090 48GB跑Qwen3.8 flash next的速度还可以。
: 我先买了一张48GB水冷的花了2万8多点，过了几周跑稳定了就把以前1万3买的4090 24GB卖了二手，2万1出的，算下来这次也就为本地大模型支出了7000多，总算是也跟风吃到硬件涨价福利了，RTX Pro 6000 96GB实在涨得太狠，我现在也就业余玩玩编程又不是全职工作，实在下不去手便宜老黄。
: [upload=1][/upload]
我就自己玩玩，没搭建生产环境的考量。电费方面，一直开着估计500W左右吧，2小时一度电。
本地部署当然是适合不希望AI厂家拿到的代码开发，我可以放心喂真数据给AI让它开发验证。
省钱倒是不一定。
【 在 xunery 的大作中提到: 】
: 本地部署得大模型和在线服务得大模型效果有区别吗？如果有区别大吗，另外，除了初期投入，耗电量怎么样，不考虑保密得情况下，月消费多少以上适合本地部署
重点是效果怎么样？和在线服务差别大不大
【 在 poocp 的大作中提到: 】
: 我就自己玩玩，没搭建生产环境的考量。电费方面，一直开着估计500W左右吧，2小时一度电。
: 本地部署当然是适合不希望AI厂家拿到的代码开发，我可以放心喂真数据给AI让它开发验证。
: 省钱倒是不一定。
现在你这一套配下来整机也要四五万了还不一定稳，m5 256也就多两三万，好得不是一点，q6 150+
【 在 z16166 (Netguy) 的大作中提到: 】
: 改成5090 + 128GB，是不是能流畅点
: github /Indras-Mirror/Xolotl
兄弟，大进展，我改写了maya的专家offload机制
以及缓存复用机制。现在首token时间极短，decoding80以上，基本能用了！
【 在 z16166 的大作中提到: 】
: 这个人用魔改版的48G跑到70/s
: [upload=1][/upload]
智力水平肯定比在线更大参数的那些模型要低啊，不过我拿它写了几万行代码后，感觉对我而言，大部分场景下够用，实在搞不定的问题再让它整理好，我拿去问ChatGPT免费版，基本上两三轮对话之后就能跑通了。
【 在 xunery 的大作中提到: 】
: 重点是效果怎么样？和在线服务差别大不大
谢谢回复，有机会我用双3090试试
【 在 poocp 的大作中提到: 】
: 跑满256K
最便宜的要8w了，apple guan方的下单后还得等13~15周才能拿到
10月底m5 ultra会出512G的版本，估计要10w+
[upload=1][/upload][upload=2][/upload]
【 在 smthhz 的大作中提到: 】
: 现在你这一套配下来整机也要四五万了还不一定稳，m5 256也就多两三万，好得不是一点，q6 150+
同配置我查询RMB 86,749，怎么价钱还不一样
[upload=1][/upload]
【 在 z16166 的大作中提到: 】
: 最便宜的要8w了，apple guan方的下单后还得等13~15周才能拿到
: 10月底m5 ultra会出512G的版本，估计要10w+
: [upload=1][/upload][upload=2][/upload]
教育优惠是79734
【 在 xunery 的大作中提到: 】
: 同配置我查询RMB 86,749，怎么价钱还不一样
: [upload=1][/upload]
买这么贵的工具是为了工作还是为了玩？
【 在 z16166 的大作中提到: 】
: 最便宜的要8w了，apple guan方的下单后还得等13~15周才能拿到
: 10月底m5 ultra会出512G的版本，估计要10w+
: [upload=1][/upload][upload=2][/upload]
我是只看不买
【 在 philbloo 的大作中提到: 】
: 买这么贵的工具是为了工作还是为了玩？
理财
【 在 philbloo (philbloo) 的大作中提到: 】
: 买这么贵的工具是为了工作还是为了玩？
: 【 在 z16166 的大作中提到: 】
学生买电脑不就是打着学习需要的名义光明正大的玩游戏
【 在 philbloo 的大作中提到: 】
: 买这么贵的工具是为了工作还是为了玩？
恭喜。你也可以开源一个了，哈哈
【 在 BIGDADY111 的大作中提到: 】
: 兄弟，大进展，我改写了maya的专家offload机制
: 以及缓存复用机制。现在首token时间极短，decoding80以上，基本能用了！
哦 我以为你下单了 接近10万块钱的电脑 我感觉月入10万rmb也买不下手 我用的电脑才小几千rmb
【 在 z16166 的大作中提到: 】
: 我是只看不买
4090已经卖了吗
【 在 z16166 的大作中提到: 】
: 改成5090 + 128GB，是不是能流畅点
: github /Indras-Mirror/Xolotl
: Xolotl (formerly Strata-DSV4.1): DeepSeek-V4.1-Flash, all 552B, on one gaming PC (RTX 4090 + 90 GB RAM) at ~27 tok/s, plus GLM-5.3-Flash, Qwen3.8-Flash-Next and Qwen3.8-27B. A heavily extended fork of Strata: MoE experts tiered across VRAM, pinned RAM and NVMe; OpenAI + Anthropic API.
24G的a10 显卡，配上大内存ddr4，都可以跑256K上下文。1600的prefill ，60decode
【 在 KeepHope 的大作中提到: 】
: 这个3.8 flash next在48GB显存上能跑多大context？
不行 还是有很大问题。重写了一堆东西
正常对话是没问题
但没并发，一压缩上下文前缀复用就丢掉
还是只能当玩具。。。
【 在 z16166 的大作中提到: 】
: 恭喜。你也可以开源一个了，哈哈