Wink Pings

TheLocalDrummer的Orion出了1.1版,顺手搭了个免费模型池

Orion 26B A4B v1.1把创意写作往前推了一步,社区反馈有好有坏。同一时间,TheLocalDrummer的BeaverNet项目已经聚了12个模型,走OpenAI API兼容路线,免费、匿名、谁都能用。

TheLocalDrummer在r/LocalLLaMA上发了新帖,宣布Orion 26B A4B v1.1发布。v1之前没正式公告过,但社区里已经有人把它当可靠的角色扮演模型在用。v1.1的改进方向很明确:创意写作再往前推一步,同时把Gemma的推理能力用得更充分。

两个版本的模型卡都在Hugging Face上:

Orion模型相关图片

社区反馈并不一边倒。网友DirectWay1915说初代Orion非常适合引导式故事写作,创意在线,而且因为模型够新,几乎不产生幻觉。毛病也有:偶尔会卡进"Not because (...). Not because (...)"这种重复句式。

另一位网友throwthatassaway69的体验相反。他觉得v1.1写作质量确实更好,但长对话下崩得明显,小错误会一点点累积,比如少个括号、某一行写歪,攒到一定程度整段就散架。调温度也没什么用。

除了模型本身,TheLocalDrummer还宣布了另一个项目:BeaverNet。地址是 net.beaverai.org。

说直白点,这是一个由模型提供者集体供货的聚合平台,目标是给任何人提供免费、方便、匿名、多样的模型,只要客户端兼容OpenAI API就能接入。目前已经有12个模型,全靠提供者自愿贡献。用户可以去用,也可以申请成为提供者。TheLocalDrummer说后续打算加TTS和STT这类新模态。

有人问运营压力怎么扛。他回复说做过压力测试,BeaverNet能支持200个并发流不出现服务降级,而目前整个平台加起来最多也就撑25个流。机器是便宜服务器,垂直扩展能顶5倍并发,真到1000个流还能水平扩展。另外还有平台级并发限制兜底,最差情况是用户排队,但服务不会挂。他还提到在琢磨P2P方案,不过提供方和使用方的IP会互相暴露,隐私问题绕不过去。

跟帖里还有两个问题没展开。一个网友问会不会出中等尺寸的模型,说现在选项要么30B要么100B往上。另一个问为什么停掉了Fallen系列。TheLocalDrummer没有在帖子里逐条回复。

他在帖子末尾补了一句,说自己没退圈,只是很久没发公告,有点怯场。之后会继续做手头的事。

发布时间: 2026-11-09 23:43