【2023Q4】基座模型公司（短期内）对上层生态没有引领作用
TLDR
基座模型公司目前并不会引领中间层和应用层的发展，而是在他们后面缓慢的抄袭其中最公共和简单的部分。无法期待他们在这方面对社区有创新性贡献。
基座模型公司未来有可能会去吃掉像text2SQL之类看似有复杂度壁垒的中间层能力。
对中间层和应用层团队：短期能够学到的东西肯定不会成为壁垒。
1、回顾10.1之后的发布会
1.1、OpenAI
OpenAI 11月的发布会内容概括一下主要有几类：
【O1】基础模型能力的迭代提升
【O2】多模态API开放
【O3】产品层面的GPT、GPT Builder，以及将会放出的GPT Store
【O4】Assistants API发布
【O1】的模型更新是符合预期的，甚至在我看来进展还有点偏慢。GPT4-turbo的候选版本应该偷偷在web上内测了很久，等到我都已经不期待了之后才放出来。128K的context window虽然提升不算小，但也并不亮眼，在考虑到Sam Altman年中时候说1M token时候才会遇到很大的困难，更让我感觉128K还有些偏小。GPT4-turbo的降价幅度也略低于期望，已经体现了高素质LLM模型的性价比提升在放缓。
【O2】多模态API的开放在我看来是有点意外的，我原本并没有抱太大的期待。就算它短期不放迟早也会放，这条线的发展是可以预见的。
【O3】在很多人看来GPT很惊艳，但说实话国内10月的百度和讯飞的发布会都已经发过功能比较接近的功能了。OpenAI要说哪里做的更好一点也就是GPT Builder和多模态tools。很多人对于国内更先发的同类产品不闻不问，但对于OpenAI的GPT大吹特吹，这说明：OpenAI的一大优势是具有巨大的流量。技术上GPT相对于讯飞的助手/友伴只能说是同一水平，就是把LLM应用层的知识库/RAG方案抄过来而已，甚至他俩都不算是做的很完善。当然OpenAI作为一个旗帜，做了这个功能可以加速推动整个行业的共识统一。但也仅限于如此，从应用层开发者的角度上来说，没什么技术上的前进，只是单纯的某些被抢了饭碗，类似于游戏厂商把社区的mod吃了，仅此而已。
【O4】跟GPT一样，从拉齐社区共识的角度上来说，我认为它意义很大，但这更像是制定了一个标准，而非拿出了一个新技术。我看完Assistants API相关的各种说明之后，感觉是“第一版就这”？我在当时的发布会评论文章中并没有对于该功能现状的能力发表太多主观（负面）评价，但在本文的主题下我可以说了，OpenAI抄中间件层抄的过于保守。它目前的设计是为没有很强开发能力的团队所准备的，对于有一定开发能力的团队来说颇为鸡肋。
1.2、大厂与中厂
再往前，10月国内的百度和讯飞分别做了发布会，他们的发布会上就给上层生态带来了一些新能力么？也并没有。
他们在产品的布局是可圈可点的，但很遗憾，在技术层面连Assistants API这样的东西都没有。
相对来说，微软的Azure Copilot Studio算是上述提到的所有公司里为开发者做的支持方案里最多的了，它的Agent内部流程编排看起来才是为真实业务设计的。但这算得上什么创新么？我认为不算，这个方式很多人都能想到，并且也有人去做了，微软只是第一个做这个方案的知名公司而已。（微软有开源在 https://github.com/microsoft/promptflow ）
1.3、基座模型创业公司
那些创业的基座公司在帮助上层生态方面有什么创新么？几乎没有。
相对来说面壁智能虽然阶段性放弃了开源模型，但在一些技术噱头的PR上还算是给了社区一些影响的。
从开源模型的角度，不少公司还是做了一些工作的。但截至目前来看，认真做、持续做的大概只有智谱的ChatGLM 6B系列，还不放更大参数的版本。
2、近期基座公司行动模式
2.1、LLM模型核心能力的提升已经放缓
目前模型效果第一梯队已经只有OpenAI的GPT4-turbo，虽然落后于大家原有的期待，但还算是正常的速度。
Claude已经逐步丧失了自己的专项优势，逐步掉入第二梯队；Google的新一代大模型也持续难产；Meta的LLAMA看起来更像是一个基座模型的基础训练教程，并没有要自主创新太多。
国内方面，各个公司还在追赶阶段，前进难度相对于突破前沿来说相对容易一点，但最近发布明显提升的也并不多。
2.2、多模态成为新战场
多模态可以说是2023年下半年的一个新战场，目前OpenAI仍然是遥遥领先。国内一些团队也有这方面的工作。
从功能上来说，多模态的支持是重要的，把一部分资源从攻坚LLM核心能力转移到多模态方面在商业上是正确的。但这里的某些方面要更难做一些，相对来说语音算容易一些。图像方面训练和使用成本都明显更高，还处在技术积累阶段，离大规模使用（赶上文本模态的LLM）还有不少距离。
我之前也提过，多模态尤其是图像理解方面场景多样，未必要靠一个单一大模型实现，这方面在一些特定场景上中国公司有赶超机会，如果他们的技术路线规划正确的话。
2.3、中间层（1），微观上的懒惰
现在还在中间层鼓捣的基座公司几乎只有微软一家，但微软目前是否能算是个正统基座公司也是有点存疑。
OpenAI相对来说已经算好，但也就是拿出来一个Assistants API。这东西目前主要的价值大概就是帮助那些连简单知识库/RAG应用都写不好的团队去做一点定制开发。
再看其他家呢，能做好LLM基础能力的function calling、long context、system prompt三件套就已经十分难得了，无法期待更多。
OpenAI发布会之后一些中间层和应用层的团队跳出来说OpenAI抄了自己，自己多正确balabala。确实也不能算错，OpenAI以及其他一些基座公司看起来就是把上层生态中最常用、最不会错的部分抄了，剩下连稍多一点的定制能力都没有。
现在的现状在我来看就是：假设问题是钉钉子，原本大家是随手拿个石头砸，后来应用层和中间层的团队自己搞出来一些各种各样的锤子来用。OpenAI和其他基座公司观察了半天，拿出了一个非常普通非常简单的60分锤子。而一些设计领先的团队拿着射钉枪的图纸看着他们，觉得“就这？”，有些团队甚至已经做了一半了。为什么大家看不到这些更好的方案呢？因为他们没有流量，而只有OpenAI才有流量。所以即使是百度和讯飞的发布会都没有多少人去认真看。
在我来看，目前基座模型公司去抢2C产品市场还有一些意识，但在上层开发支持的优化方面乏善可陈，不投资源、也没有去引领探索的意愿，就等着抄上层生态的一些标准解法，还只能抄个60分。即使是OpenAI在这方面也没能给上层社区做出多少贡献。
以现在基座公司抄设计的这种懒蹋蹋的状态，中间层和应用层团队的技术方案被抄完全说明不了自己有多前瞻多NB，只能说明：
这方案太简单，不复杂，抄的成本极低，工程开发量都很少。
这方案流传太广，市场上至少有50%的人在用。
也不能说被抄的方案就很差，只能说是给他人做嫁衣，而且还只是嫁衣中小小的一部分。没有抓住短暂的时间窗口建立起自己的技术复杂度壁垒或者是其他方面壁垒，商业上肯定是很失败的。
反而是“流行了一段时间，但基座模型公司并没有去抄”的方案大概是有问题的，例如之前大火的Agent概念，到现在也没有哪家基座模型公司去做一个简化Agent开发的中间层功能。（MultiAgent框架是另外的问题，这里不展开讨论）
最后，也不能说基座公司抄的这些方案对于生态没有贡献作用只是摘桃子。OpenAI目前确实还是降低了没有技术能力的团队的开发成本的，算是进一步扩大了这个生态，也加剧了上层生态的竞争。
2.4、中间层（2），懒惰的原因
基座公司为什么在中间层这么懒惰呢？我的理解是：
重视度不够。各家基座模型的人力上都并不足够充裕，在生态支持上的人力资源投入显著较少。炼基座模型业务线上的人也对生态支持线上的人有一定歧视。这两条线需要人能力其实是不同的，而大部分基座模型公司的内部文化并不能很好的维持一个足够好的生态支持团队并有足够得公司战略干预权。
重视度不够，没有投足够好的人在这上做足够的调研和长期设计，也没有足够的研发资源去开发一些复杂一点的功能。这就导致只有在一个功能已经烂大街、且实现成本并不高的时候，才会“被迫”去做一下。做个60分，觉得差不多了，就停了。
本质上来讲这是由于资源投入不足（人力投入不足、战略思考投入不足、管理者时间投入不足）导致的管理上过于简化的结果——产出也过于简单。
2.5、中间层（3），宏观上沉睡的猎豹/狮子
虽然基座模型公司/团队在中间层的微观层面是懒惰的，但并不能简单认为他们就只会去产品层面抢市场。
中间层的一些功能只要达到一些标准，基座模型公司也是会去做的。例如：
生态基本共识需要的“通用”功能
功能目标并不难“理解”
候选的这样的功能并没有太多
跟基座模型本身还有一些技术上的相关性
举一些我认为符合的例子：
超长历史的高质量对话（基座模型公司全托管实现，下同）
长文档、多文档的高质量问答，某些应用场景不太复杂/定制的知识库问答
text2SQL
前两个例子是相对容易想象的，我这里要提醒的是：text2SQL也是可能被基座模型公司吃掉通用部分的。
可以沿着这个思路去匹配一些其他的场景。
基座模型公司/团队本质上并不算太缺钱投研发，只要他们的决策者觉得这是该做的，投资源去做一个60分甚至70分的方案并不难。他们做出的方案可能是一个猎豹，也可能是大厂重金投出来的一个狮子。
2.6、抢产品市场
在最上层产品层面，基座模型公司目前更多像是竞争者，而非整个生态的孵化者与引领者。
这也没有办法，现在大家日子都不好过，能自己先活下去才是最重要的。孵化生态的事等自己有余力的时候再说吧。
即使是OpenAI，在我来看它现在这么积极的商业化也是为了挣更多的钱来支持自己庞大的研发费用。
某种意义上来说，OpenAI愿意快速开放产品能力对应的API、定位是2C产品公司的Moonshot愿意开放API已经算是仁慈了。
3、总结
OpenAI发布会过去有一段时间了，本文是给一些不实际做开发的人泼冷水的，你们该冷静了，去问问你们身边的开发团队吧。
相关的技术其实早就发过，但之前却无人问津，在这些方面重要的已经不是技术、或者方案设计、或者产品，而是流量。OpenAI这次证明了自己仍然具有很大的流量，讯飞去推不火，OpenAI去推就可以火。
基座模型公司在上层生态支持方面真的不太行，不过他们的核心能力也还没搞好，情有可原吧。
中间层和应用层的的通用、简单的功能长期来看必然会被抄（或者被淘汰），无论定位是中间层还是应用层，如果一个东西你1周就能搞明白，那么最终会是三种情况选一：1这个方案比较小众，2这个方案不work或者还不够好，3这个方案最终会被基座模型公司抄。不要觉得短期能够学到的东西就能成为你的壁垒，它肯定不是，需要寻找别的壁垒。
历史相关文章
OpenAI 1106发布会 个人分析与评论【2023.11】
看目前巨头的AI原生产品布局（2），兼谈杀手级应用【2023Q4】
交流与合作
如果希望和我交流讨论，或参与相关的讨论群，或者建立合作，请私信联系，见 联系方式。
希望留言可以到知乎对应文章下留言。
本文于2023.11.24首发于微信公众号与知乎。
知乎链接 https://zhuanlan.zhihu.com/p/668598731