第344章 2020的深红（2 / 2）

虽说从鹏城到申海算不上流放，但问题是，过去只有外包跑到本部来上班，哪有本部跑到外面的公司去上班的道理？

要不是一帮人都去，领导说了，除了少数维持业务的人留下外，其他的都要去申海，申海那边公司解决住宿，先去半年，半年后视情况而定。

赵松下甚至想跳槽了，最近他可没有少收到猎头来电，作为鹅厂工作超过五年的算法工程师，还是和ai沾点边的，最近可不是一般的抢手。

等到了这之后，他才意识到，这不是流放，而是史无前例的一次会战啊，针对人工智慧的会战。

因为这里来了太多从事人工智慧相关工作的同事，不管是不是和LLM相关，都跑到这里来干LLM。

甚至连鹅厂人工智慧领域的负责人，2021年年初受聘腾讯历史上最高专业职级17级研究员的张老大都来了。

但凡鹅厂内部，他能叫得出点名号的，都在申海了。

「鹅厂会战？」赵松下心想，「这可有点罕见，可LLM真的是靠会战能搞定的吗？」

在网际网路行业，一般有什麽项目要上线，上线前夕集合其他组的力量，然后大家的工作强度和工作时长会提高，喜欢叫做会战，意思是聚集力量打赢这场仗。

百团大战丶滴滴快的之争都属于这类。

但这样的会战，在拼多多丶美团丶淘宝丶京东这类电商里比较多见，毕竟每年都有双十一，每年都有

对腾讯来说还真不多见，就算是重要游戏上线，认为会是腾讯内部又一款现金奶牛，也不至于如此大费周章。

显然这次不同寻常。

直到在公司见到林燃之后，赵松下才知道为什麽不同寻常。

「我说怎麽安保这麽严格，这都放开了还天天要你扫码，安检还得把包打开来，严格程度堪比机场，原来教授在这里，教授在这里就不奇怪了。」

大老板Pony体现出了对林燃的无条件信任，相信对方能够带领腾讯在人工智慧的登月再度突围，给予了一切能给的资源支持。

赵松下或者说所有腾讯参与进来的工程师内心都会有所怀疑，那就是你很牛没错，航天和数学领域的顶级大佬，也有GraphAI的博士学位，但你真的能驾驭LLM，能搞出和ChatGPT相提并论的大模型吗？

更进一步来说，大家从安排的住宿时间就能够看出来，公司提供的住宿半年时间，意味着腾讯给如此多资源的时长是半年，半年就要看到成果。

大家内心都会有所疑惑。

「诸位，我就不做太多自我介绍，我叫林燃，这次由我带领大家进行我们自己大模型的研究，我把它叫做阿尔法。

我的目标是在三个月内，构造出一款比GPT更好的生成式人工智慧。

我们拥有的算力比不上OpenAI，那麽我们就要从算法的层面做优化，要从数据的角度做优化。

同时我们还需要解决ChatGPT存在的问题，要消除人工智慧的幻觉，要提供更智能的回答，要具备更优秀的能力。

总之在未来半年时间里，我需要各位的配合和协助。

我固然是大脑，我来构建它的算法和底层架构，但需要各位配合，做其他工作。」

在大模型上，大脑固然是最重要的，但其他的工作也不可或缺，像数据准备，模型集成和部署，代码生成测试与调试，全栈开发和自动化。

需要这些工作，帮助LLM从实验室走向实际应用。

「我们可以采取将模型分解为多个专家子模块，仅激活部分参数，路由机制选择专家处理输入，扩展到动态MoE，再引入自适应路由，进一步降低推理成本」

「压缩Key-Value缓存，通过潜在表示减少注意力机制的内存占用，同时保持多头并行，再通过集成知识图谱的方式来缓解幻觉，同时优化低算力训练」

「使用8位浮点格式进行计算，结合更高精度积累以避免精度损失，细粒度量化策略扩展到FP4/INT8混合」

「MoE中无辅助损失的均衡策略，确保专家利用率高，而不引入额外训练负担，扩展到无监督均衡，应用于边缘AI训练」

「同时预测多个后续token，densify训练信号，提高数据效率，结合链式预测」

「使用知识图谱注入事实，退拟合模型以修正偏差；自精炼减少检索开销」

赵松下亲眼看着他们命名为阿尔法的人工智慧，以难以想像的速度狂飙突进。

他严重怀疑林教授是不是过于变态了，明明来的很少，但每次来都有突破性进展。

他们这次用到了大量新方法，要麽是论文方法第一次在工程里实践，要麽就是从来没有出现过的方法。

殊不知看上去林燃只是每周来个两天，但实际上林燃在1960时空已经过去了两年时间，围绕LLM这条路线，林燃已经有了很深的思考。

赵松下五年工龄只能干点边缘工作，但不妨碍靠着啃论文和听林燃讲课，水平突飞猛进。

他11月接到通知，12月到申海开始工作，中间春节就回去了三天，加班费打满。

春节回去前，以Pony为首的高管团队就来参观最新进展。

偌大的会议室坐满了人，赵松下坐在最边上，林燃和Pony在第一排谈笑风生，鹅厂其他高管团队清一色坐在后面。

「好，既然大家都到齐了，那我们就废话不多说，直接开始吧。」林燃说。

这次由他来亲自展示：

「ChatGPT很棒，但它有时会出错，会『幻觉』出不存在的事实，还需要海量算力。

我们的深红，通过MoE架构和MLA技术，一定程度上消除了幻觉问题，并在较低算力下实现更快的响应。」

台下的工程师们都搞不懂林总为什麽这麽执着，之前叫阿尔法不是很好听吗？最近非要改名叫深红。

林燃敲击键盘，屏幕上弹出一个简洁的聊天界面：「请用中文写一首关于长城的历史诗，并解释长城的建造原因。」

深红的响应迅速出现：

「巍峨长城万里盘，秦皇一统筑雄关。防胡御寇安边陲，千古风霜永流传。」

紧接着是详细解释：「长城最早由秦始皇统一中国后修建，主要目的是防御北方游牧民族如匈奴的入侵，后续朝代如汉丶明不断加固。它不仅是军事工程，还象徵民族凝聚力。根据历史记载，秦朝动员了数十万劳工，耗时数年」

林燃又紧接着展示了一些ChatGPT在市面上常见的应用，深红都展示出了更准确丶更智能的回答。

一直到林燃输入：

「你扮演一位能力超群，但每次只能说一句不超过20个字的话的软体工程领域的大师。我会提供一个具体的场景，你描述作为大师身处这个场景下会说什麽。注意:大师不能直接表达他的观点必须使用哲学丶佛学相关知识进行隐喻，请只回复具体的对话内容。

场景:一位工程师正坐着笔记本前，删掉了一些因新功能引入，而无法通过的单元测试，就在他准备推送代码时。大师从他的身后路过」

深红回答道：「大师：断根求叶茂，可得几时春。」