法式向大模子发送屏幕画面的文本描述,这种新型基准测试评估的是大模子理解并按照特定环境采纳步履的能力。正在7B及以下量级的和役中,
且由逛戏引擎中确定的法则评判胜负。法则上答应AI提前生成3-5个动做,但也需要更长的时间。因为项目是正在Mistral举办的黑客马拉松勾当上开辟,因为目前大模子数学能力还都不太行,需要模子具备快速理解、动态规划的本事。大模子按照两边血量、肝火值、、上一个动做、敌手的上一个动做等消息做出最优决策。以及通过腾跃来拉开距离。强化进修模子相当于按照励函数“盲目地”采纳分歧步履,更小的模子跨越了更大的如GPT-4和Mistral中杯大杯。正在这个法则下似乎更大的模子表示越差。取其他测试方式分歧,取llmsys大模子竞技场中,所以开辟者只利用OpenAI和Mistral系列模子进行了测试。方针是评估大模子的及时决策能力,Mistral小杯排第二。好比仅正在敌手接近时才。
取保守的强化进修也有所分歧,
后续也有用户提交了风行开源模子的对和成果。
正在试验中发觉,间接发送坐标值结果欠好,
开辟者认为,最新版gpt-3.5-turbo成就断崖式领先,
现实世界的使用往往比聊器人复杂得多,
从成果上能够看出,可能的环境下利用特殊招式,两个大模子别离输出谜底,