转寄人: sortie (sortie)
标 题: 还真有人把fable5给蒸馏了，上线三天蒸了 5 亿 token。
发信站: 水木社区 (Sun Jun 28 18:37:45 2026)
来 源: 120.245.107.123
【以下内容由 sortie 转寄于 NewExpress 版】
标 题: 还真有人把fable5给蒸馏了，上线三天蒸了 5 亿 token。
发信站: 水木社区 (Sun Jun 28 18:37:45 2026)
来 源: 120.245.107.123
【以下内容由 sortie 转寄于 NewExpress 版】
不仅 Fable 5，Mythos 5 也有人给蒸了。
现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
愚公移山
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
这些人真有钱，光这输出的 5 亿 token，按 Mythos 5 的那个计价的话，都是 25000 美元了。
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
换你你要哪个？
不过，外国人说中国科技发展快，我找到点眉目了。
【 在 Engelberger 的大作中提到: 】
: 这些人真有钱，光这输出的 5 亿 token，按 Mythos 5 的那个计价的话，都是 25000 美元了。
5亿只是毛毛雨啦，500Mtoken，就算国外模型贵，也就是几万块钱
数据这块，这点数据量训练也很便宜
乘以一万能搞出一个相当水平的模型都是极其便宜了
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: FROM 111.55.145.* [四川 移动]
【 在 tongchen 的大作中提到: 】
: 换你你要哪个？
: 不过，外国人说中国科技发展快，我找到点眉目了。
: 【 在 Engelberger 的大作中提到: 】
: : 这些人真有钱，光这输出的 5 亿 token，按 Mythos 5 的那个计价的话，都是 25000 美元了。
哪儿这么简单，其实现在外网一个怀疑点是fable5不是纯血LLM，里面藏了一个agent，也就是说交互过程拿到的已经是迭代后的输出，不是LLM的思维链了
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: FROM 111.55.145.* [四川 移动]
据说欧洲人道德特别有底线。
【 在 metaers 的大作中提到: 】
现在蒸馏出小模型自己用这个思路很好
不然自己折腾花了很大代价都不咋的
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: FROM 111.55.145.* [四川 移动]
gemini刚出来的时候，说自己的老板是李彦宏，你发现什么眉目了吗？
【 在 tongchen 的大作中提到: 】
: 换你你要哪个？
: 不过，外国人说中国科技发展快，我找到点眉目了。
fable5有防蒸馏的，一个是下毒，一个是降智。你以为拿的是fable5的答案，实际拿的是4.8，而且下毒，让你寻找不到平坦极小值的解。
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
极有可能的，前头加了一个llm过滤它认为的高危提问
【 在 liuqixiao27 的大作中提到: 】
: 哪儿这么简单，其实现在外网一个怀疑点是fable5不是纯血LLM，里面藏了一个agent，也就是说交互过程拿到的已经是迭代后的输出，不是LLM的思维链了
: 【 在 Engelberger 的大作中提到: 】
: : 不仅 Fable 5，Mythos 5 也有人给蒸了。
: : 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
能成事，在AI领域这点算小钱
【 在 Engelberger 的大作中提到: 】
: 这些人真有钱，光这输出的 5 亿 token，按 Mythos 5 的那个计价的话，都是 25000 美元了。
欧洲和日本、东南亚、vv有啥很好的大模型吗？
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
5亿算个啥啊
我一个月就能用5亿
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: FROM 111.55.145.* [四川 移动]
原理和基本架构都是公开的，只要公开发售，过一段时间不破解也能被山寨
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
用过一次谷歌 ai模式，让她给出一道初一的绝对值运算问题，讨论了x大于-6的情况，得出x等于-2，他说舍去，还有其它情况。当时浏览快了，没看出来，后来跟他说-2是解，它才说它错了。那时发现它怎么能犯这种错误，看来是降智了。
【 在 HANNING 的大作中提到: 】
: gemini刚出来的时候，说自己的老板是李彦宏，你发现什么眉目了吗？
: 【 在 tongchen 的大作中提到: 】
: : 换你你要哪个？
: : 不过，外国人说中国科技发展快，我找到点眉目了。
就是超级低吧
【 在 HANNING 的大作中提到: 】
: 据说欧洲人道德特别有底线。
: 【 在 metaers 的大作中提到: 】
: FROM 123.116.45.* [北京 联通]
5亿？才500M token，毛毛雨吧，有好用的fable5么
好像看到有人挂了fb5名字就一堆人去下，不知道有没有实测
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: FROM 111.55.145.* [四川 移动]
这样应该会慢很多啊
【 在 liuqixiao27 的大作中提到: 】
: 哪儿这么简单，其实现在外网一个怀疑点是fable5不是纯血LLM，里面藏了一个agent，也就是说交互过程拿到的已经是迭代后的输出，不是LLM的思维链了
有什么推荐的fable5和mythos小模型吗
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
5亿也太少了，一次50k，也就1w次，够干什么的？
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: FROM 111.55.145.* [四川 移动]
我一天就花掉好几亿token，这个算狗屁蒸馏
【 在 Engelberger 的大作中提到: 】
: 标 题: 还真有人把fable5给蒸馏了，上线三天蒸了 5 亿 token。
: 发信站: 水木社区 (Sun Jun 28 15:10:40 2026), 站内
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: ※ 来源:·水木社区 http://m.mysmth.net·[FROM: 111.55.145.*]
我已经下载下来了。
其实这个蒸馏数据本身也可以卖钱。
蒸馏者自己的成本估计是 3～4 万美元。他卖出去，10 万美元一份，都一堆公司买吧
【 在 Dream05 的大作中提到: 】
: 现在蒸馏出小模型自己用这个思路很好
: 不然自己折腾花了很大代价都不咋的
问题是都不堪用
mythos 5 也有人给蒸了，
那些被允许访问的公司内部也有人蒸数据
【 在 hyinz 的大作中提到: 】
: fable5有防蒸馏的，一个是下毒，一个是降智。你以为拿的是fable5的答案，实际拿的是4.8，而且下毒，让你寻找不到平坦极小值的解。
说了也白给。
【 在 z16166 的大作中提到: 】
: 问题是都不堪用
这点TOKEN量，也就是个微调吧，蒸馏算不上。
再说蒸馏很容易识别的，请求内容和普通用户完全不一样。
有啥不一样？
【 在 sthgot2give 的大作中提到: 】
: 这点TOKEN量，也就是个微调吧，蒸馏算不上。
: 再说蒸馏很容易识别的，请求内容和普通用户完全不一样。
: FROM 114.250.179.* [北京 联通]
给外行科普一下，蒸馏是啥意思？
【 在 Engelberger 的大作中提到: 】
: 不仅 Fable 5，Mythos 5 也有人给蒸了。
: 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
: FROM 111.55.145.* [四川 移动]
看看美剧西部世界，把人放到各种场景下，尤其是极端场景，测试反馈，用来训练机器人。这个测试获取数据的过程就是蒸馏。
【 在 qyli 的大作中提到: 】
: 给外行科普一下，蒸馏是啥意思？
: 【 在 Engelberger 的大作中提到: 】
: : 不仅 Fable 5，Mythos 5 也有人给蒸了。
: : 现在开源社区到处都是蒸了 Fable 5 和 Mythos 5 的小模型。
但是打榜得分更高啊
【 在 ytmian 的大作中提到: 】
: 这样应该会慢很多啊
: 【 在 liuqixiao27 的大作中提到: 】
: : 哪儿这么简单，其实现在外网一个怀疑点是fable5不是纯血LLM，里面藏了一个agent，也就是说交互过程拿到的已经是迭代后的输出，不是LLM的思维链了