这次我是真的给pink上强度了——迟来了好几个月的测评

本次Pink使用版本: 0.0.1.30

最近制作了一款LayaAir的休闲小游戏并且近期将会上架微信小游戏。但是因为Laya的项目源码又不能上架Cocos Store去卖。所以本人决定使用AI来转换成Cocos项目。那么这里其实有2个选择,一个是Codex,一个是Pink。一想到Pink里赠送的100元余额还纹丝未动,我的心仿佛在滴血,本着有便宜不占王八蛋的想法,我决定先用Pink来试试水。如果达不到预期,我就再换Codex来干。正好出一篇Pink的实战测试。这可比之前那些做2048的游戏更加具有实际意义了。

我先声明一下,目前这个游戏是属于休闲游戏领域,其中80%的代码都是我个人手写的,总共开发也就15天,绝对不是属于什么大体量的游戏。等上线后大家可以体验一下。

Pink初始余额为100元。为了能比较方便的进行转换,我已经将游戏中所使用的图集都打包成了plist格式放到一个文件夹下了,Pink这次工作是完全不需要生图的,只需要读图,写代码,做预制件,做场景。因为其他的模型要么太拉胯,要么没有多模态,要么太贵了。综合考虑之下我选择MinMax M3模型来做。(其实M3也很拉胯,但是这次只是矮子里边拔将军。)

这里有一个伏笔为后边的工作埋下了巨大的隐患,那就是Pink内置的这些模型上下文居然只有128KB,要知道,现在1M的上下文才是主流水平。但是鉴于Codex里272KB的上下文也能工作的很好,我只能先寄托于Pink莫非有什么黑科技。

为了方便Pink读取Laya项目,我要求他去连接上LayaAir的MCP服务。因为之前Codex已经连接上了,并且生成了不少预制体,所以我认为这个操作,应该是没有难度的。M3思索半天之后向我抛出了三个灵魂提问。

  1. LayaAir MCP 的具体来源

  2. 您希望把配置写在哪里?

  3. 您使用的是哪个客户端?

如果您能提供已经配置好的 MCP 配置片段(command、args、env 等),我可以直接帮您部署到对应位置。

这让我博然大怒,因为我也不知道这个答案是什么。所以我恶狠狠的回复道:“我什么都不知道,我只知道Codex已经连接上了,你给我读取codex的配置项目,自己摸索去。”

M3摸索了半天,告诉我已经找到了Codex的mcp配置文件,但是里边根本没有LayaAir的mcp设置选项。直接给我气笑了。为了不过多的和这种前期工作纠缠,我直接让Codex去Pink工程下去配置好这个mcp文件。可能这个版本的pink实现的有bug。它无法通过sse去加载到mcp的tools,虽然可以握手,但是无法返回任何tools。在这个过程中,因为M3实在太过弱智了,我切换到GLM-5.2来做的。做完了这一切,Pink余额直接来到了96元。果然GLM-5.2的价格不是一般人能用的起的。

我又切回到MinMax M3上,指示它:“因为你没办法使用Laya的mcp。你直接开始干活吧。”M3刷刷的就生成了一堆的ts脚本。毕竟所有的编码逻辑都已经在Laya项目写完了,所以这种不费智力的工作,大模型干起来真的很快。

可惜这个测试的重点并不在于代码本身,而在于能否还原别的项目里的预制件和场景的节点树,并且正确绑定到脚本里的属性。这点M3就十分捉急了,它生成了五个预制件,无一例外都是无法打开的格式错误的玩意。在工作中它不止一次要直接改预制件的json文件,而不是通过mcp去做。

三个场景虽然能打开,上边也有一些精灵和按钮,但是都是没有赋值上图片的。在这个过程中128KB的上下文简直折磨,不断的触发上下文压缩,然后丢失信息,其中一次连Laya项目的目录都丢了。在我重新告诉它Laya项目的目录位置后,又重新去读取Laya项目了。简直折磨。

不过M3的价格是真的便宜,干了三四个小时,余额还剩88元。不过最后的2个小时,它是什么都没有干的。不断的在压缩上下文,然后不断重复之前的东西。项目完全处于没有任何进展的情况。我终于忍不住,切到Kimi-K2.7-Code上了。

Kimi-K2.7-Code是属于和GLM 5.2一个智力水平的模型,而且带有视觉,我预计它的余额会消耗的飞起。但是我真的受不了M3这个弱智玩意了。

虽然切换了模型,但是我没有开新会话,还是继续在之前的会话上继续工作,结果又开始触发压缩上下文了。

这里我怀疑Pink存在压缩上下文的bug。只要开始压缩就像嚼了炫迈一样根本停不下来。一直在压缩。

等了20分钟我实在受不了了,重新来了个对话。把生成的预制件和场景都删除掉了。请 K2.7重做。K2.7读取了当前已经生成的ts文件,然后问了我一句,我能否读取原本的Laya项目文件后就又压缩了一次上下文了。这让我的心头一颤,感觉到大事不好。

果然,K2.7每读取一两个文件就要压缩一下上下文。不多时就又开始了无尽的压缩模式。终于忍耐不了。关闭了这个任务。

一句话概括就是pink中自带的那些模型因为128KB上下文的限制基本属于不可用状态,虽然这不能直接判pink这个agent死刑,但是至少说明在开箱即用这块,pink做的还是很差的。

128KB没法用,那我换个1M的模型,再试一次呢。于是我小手一点添加模型,加入了穷人专属模型deepSeek-v4-flash。但实际不论url输入的是哪个网址,pink的模型列表上都不会显示新加入的模型。所以这应该是个bug。同样的现象我咨询了群友,他们也是添加不上。

base_url (OpenAI) https://api.deepseek.com
base_url (Anthropic) https://api.deepseek.com/anthropic

至此这个测评只能结束了,希望Pink下个版本能修复一下不能加入模型的bug以及好好整一下这些128KB的模型吧。

1赞

腻害了,,,,,,

image
差距怕是不小哟

其实就算差距大也没关系,就算fable5来了,也得乖乖压缩上下文。哈哈哈哈

这都能好评 :tired_face:

看起来进步空间非常大

1赞

所以 只能使用国产模型吗?

目前导入第三方模型有bug。如果正常的话。应该任何模型都可以用的。中转站也可用

接三方中转 pink怎么赚钱?赚不会接三方的人吗?

看你用的是真别扭啊,国外的用不了,那就买个火山用glm5.2的不就好了,每个月又不限额度,没搞懂你这个为啥一直在原来的上下文运行,用新的模型为什么不开新的对话?

用新的模型为啥一定要开新对话?

LLM每条对话都是单独的。他们理解你的意思是因为你每次对话的内容都会带在上下文中。楼主的使用完全没有问题。换模型又不会换上下文。

我看到的你回复真的很奇怪。

“国外的用不了”——我的文章里没有任何地方提到过国外的模型用不了的这个说法。而且pink自带的内置模型GPT,Gemini就是国外模型,不过这些版本太老了,所以我还是选了个最新的M3来使用

“买个火山用glm5.2的不就好了”——我有尝试过接入deepSeek直接失败了。所以就没有进行下一步,去买一些国内的coding plan来用,毕竟这个东西是真要花几十块钱的。

“每个月又不限额度”——虽然我认为coding plan不可能存在不限额的说法,但是我还是打开火山方舟看看人家到底限额不限额。从图上来看确实是限额的。兄弟,如果你真的有找到只要付一点月费就可以每月不限额的东西,请你分享给我,我一定要喊你一声义父。

“用新的模型为什么不开新的对话?”——切换新的模型不一定要开新对话的,开新对话原本的上下文就丢失了,如果只是希望切高智力模型去做已经进行了一半的工作,旧的上下文也是可以继续携带的。

明明codex可以一把梭搞定的东西,非得造这种没什么用的轮子

:sweat_smile: 可不敢乱说话。

你不觉得你整体使用下来,不断的换模型吗,你这个测试的水分有多少,虽然我并不看好pink能做好些什么,我承认我说不限额是说的有点绝对了,对于正常工作是没问题的,高强度的就相当于限时限额,对于你这个小游戏移植,我没试过,不知道短时间内够不够用

真正干活就是从 M3到 K2.7。这年头对于模型也要说忠诚了吗。觉得模型智力低可能解决不了目前的复杂问题,换个高智力模型有毛病吗?

没必要再科普了。

你信不信让cocos官方出一套codex的插件,包括creator操作等其他的skill,开发者用起来会比pink好用的多?

:laughing:
pink最有价值的东西其实就是针对编辑器操作的 mcp, cli和skills啊。没毛病。

1赞