Wink Pings

一个BTC预测Agent,整个月都咬定65%到80%的把握

有网友让Agent每天预测BTC,连打30天分。方向对了16天,置信度几乎没下过65%,也没高过80%。解释读起来很顺,校准很难看。

有网友在r/PromptEngineering发了个帖子,记录一个BTC预测Agent的月度成绩单。项目不复杂:每天早上拉过去7天的BTC价格、几条新闻标题和资金费率,输出未来24小时的涨跌方向、一个置信度百分比、一个价格区间。然后每天打分。

30天后,结果有点难看。方向对了16天,基本等于抛硬币。更值得看的是置信度:几乎从不说低于65%,也几乎不碰80%以上,不管当天发生了什么。它说80%把握的时候,价格真正落在它给的区间里只有约40%。区间太窄,话说得太满。大新闻日之后,它第二天早上容易反应过度,然后方向反着来。

但它的解释写得很像回事。这个细节比16/30更值得盯。模型能把推理过程写得顺滑,读者很容易把“读起来确定”当成“概率可靠”。帖子里的说法很直接:解释听起来很有说服力。可评分只看结果,不看语气。

这里有个常被混过去的概念,校准。一个预测者说80%把握,理想情况下,这类判断里应该有接近80%真的发生。说65%,就该有大约65%命中。该Agent的置信度长期卡在65%到80%,命中率却接近五成,说明这个百分比更多是生成出来的数字,没跟现实对上。对做Agent的人来说,这不是提示词里加一句“请诚实表达不确定性”就能解决的事。模型没有稳定锚点,也收不到当天的评分反馈,它会把“听起来确定”当成“概率高”。

跟帖里有人给了另一个做法。ctenidae8在diddja.com/record做体育预测,样本215胜78负,整体命中率约73%;当它给出的置信度超过70%时,命中率接近90%。他的方法之一是让模型回看之前的判断:当时怎么想的,结果如何,错在哪。让Agent读自己的旧工作,能减少重复踩坑。这个思路不新,但在这里很具体:把历史判断和结果一起喂回去,给概率一个可对照的锚。

原帖问的是,更多数据、更好的提示词,还是给模型一个锚点,哪个有用。从这份月报看,单靠提示词要求“诚实”不太够。数据能加,但如果没有评分和复盘,模型还是会在65%到80%之间找一个安全的语气。先让它每天看见自己前一天错在哪,可能比再加十个新闻源更直接。

原帖链接:https://www.reddit.com/r/PromptEngineering/comments/1y2vdjl/my_agents_btc_calls_were_always_6580_confident/

跟帖提到的站点:diddja.com/record

发布时间: 2026-11-23 01:54