谷歌“复仇者联盟”要面向OpenAI全军出击了！ 

智东西8月16日消息，据The Information独家报道，谷歌于4月新合并的AI SWAT团队正在为秋季大型发布会做准备，将发布代号为Gemini的大模型，反击OpenAI的GPT-4。 

多位开发人员爆料了Gemini的跨模态文本生成图像能力，及图表分析、文字或语音指令等多种功能，并称其有望为聊天机器人Bard等其他业务提供动力，从而与GPT-4的系列应用形成对垒。 

背后，为了该项目冰释前嫌的DeepMind和谷歌大脑，也被传出在代码合并、软件使用及远程办公政策等方面面临各种“联姻”带来的次生问题，一些项目磨合的细节也被曝出。 

谷歌的“复仇者联盟”版图已经逐渐完整。The Information首次明确了该团队中的小组分工及各小组主管，如下表格所示，来自两个团队的26位主管的信息被搜集梳理了出来。 

01 Gemini具备多模态能力基于YouTube内容训练

今年4月，Alphabet首席执行官桑达尔·皮查伊（Sundar Pichai）采取了一项不同寻常的举措：将两个拥有不同文化和代码的大型AI团队，谷歌大脑和DeepMind合并，以迎头赶上OpenAI和其他竞争对手。 

现在，对这一努力的考验即将到来。该公司有史以来投入最大的产品之一——大型机器学习模型Gemini即将在今年秋天发布。开发人士称，Gemini不仅会配备类似GPT-4的文本生成能力，还结合了文本生成图像的能力，类似于AI图像生成器Midjourney和Stable Diffusion，有望使谷歌在打造产品方面的能力胜过其竞争对手。 

谷歌员工还谈到了Gemini的一些其他功能，如分析图表、创建带有文字描述的图形，及使用文字或语音指令控制软件。 

谷歌希望通过Gemini为多个服务提供动力，包括与ChatGPT对标的Bard聊天机器人，以及Google Docs和Slides等企业应用。盈利方面，谷歌计划通过谷歌云（Google Cloud）服务器租用部门，向应用程序开发者收取Gemini的使用费。 

“这将是有模型能与GPT-4旗鼓相当的第一个迹象。”彭博社风投分支Bloomberg Beta的AI初创企业投资人詹姆斯·查姆（James Cham）谈道，“我认为，在过去的九个月中，也许每个人都在问：什么时候才会有人看起来能赶上OpenAI？” 

据The Information于6月14日的报道，谷歌在大量的YouTube视频转录语料上对Gemini进行训练，同时也可以将视频和音频集成到Gemini中，使其具备目前被认为是AI下一个前沿领域的多模态能力。 

例如，通过YouTube视频训练出的模型可以辅助工程师根据视频诊断汽车维修问题，也可以根据用户想创建的网站或应用程序的草图来生成软件代码。OpenAI已经预告了这种功能，但尚未推出。

使用YouTube内容进行训练还能帮助谷歌开发更为先进的文本视频软件，可以根据用户想看的内容描述自动生成详细的视频。好莱坞和内容创作者正在密切关注这类软件的发展。

02 DeepMind放弃原有项目与谷歌大脑合研Gemini

谷歌大脑于2011年成立，旨在利用AI改进谷歌搜索结果、广告定位和Gmail辅助完成邮件内容等功能。DeepMind则于2014年被谷歌收购，此后一直独立运营。 

2022年11月，OpenAI发布了ChatGPT，几周内用户数量激增至数千万，几个月内营收达到数亿美元。与此同时，谷歌正面临着一系列离职潮。其多名研究人员流失到OpenAI，并在ChatGPT的开发过程中发挥了重要作用。 

在合并之前，谷歌大脑和DeepMind也曾分别开发了针对ChatGPT的项目。谷歌大脑在今年3月利用现有模型推出了Bard，但被一些用户批评只是对ChatGPT的有限模仿；DeepMind开展了一个代号为Goodall的项目，利用一种名为Chipmunk的未公开模型的变体来开发ChatGPT的对手。最终，DeepMind停止了这项工作，转而与谷歌大脑合作开发Gemini，尽管这两个AI团队之间存在着长期的竞争关系。 

合并后的谷歌DeepMind由DeepMind联合创始人戴密斯·哈萨比斯（Demis Hassabis）担任CEO。知情人士称，DeepMind的两位高管奥里奥尔·维尼亚尔斯（Oriol Vinyals）和科拉伊·卡夫丘格鲁（Koray Kavukcuoglu）将与曾领导过谷歌大脑的资深高管杰夫·迪恩（Jeff Dean）一起负责Gemini。 

03 “联姻”弊端：代码合并、软件使用远程办公政策等争议多

两个部门合并后，如何平衡从合并代码到确定远程工作政策等各个方面成为重要的问题。与DeepMind相比，谷歌大脑在远程工作方面要宽松得多。 

在开发过程中，工程师们是使用谷歌的软件，还是使用DeepMind的软件也引发争议，因为这两个部门拥有完全独立的代码库。 

该项目最终的决定是，在模型开发的早期预训练阶段，使用谷歌大脑用于训练机器学习模型的软件Pax；在后期阶段，使用DeepMind开发模型的软件Core Model Strike。参与该项目的人士说，这一决定安抚了每个小组的研究人员，但也惹恼了一部分人，因为他们不想使用不熟悉的软件。 

除了机构合并，该团队在发展过程上也一直面临着诸多挑战，包括如何确定可以在哪些数据上对模型进行训练等。 

谷歌的律师一直在密切评估训练。据称，他们让研究人员删除了来自教科书的训练数据，因为担心会涉及侵权。 

开发人员称，谷歌联合创始人谢尔盖·布林（Sergey Brin）一直在对模型进行评估，并协助模型的培训。在团队发现Gemini被训练成具有潜在攻击性的模型后，布林也参与了重新训练模型的技术决策。 

谷歌发言人对此不予置评。 

04 Gemini团队数百人由二十多位主管共同管理

谷歌大脑和DeepMind公司的前主管共同管理监督Gemini的大部分小组，已曝光的图表中共26位主管。The Information首次明确了他们在此项目中的角色。 

表中三位团队总体主管有两位来自DeepMind。科拉伊·卡夫丘格鲁（Koray Kavukcuoglu）自2012年起便在DeepMind就职，目前担任谷歌DeepMind研究与技术副总裁，奥里奥尔·维尼亚尔斯（Oriol Vinyals）则担任研究与深度学习副总裁。另一位总体主管杰夫·迪恩（Jeff Dean）来自谷歌大脑，自1999年起便在谷歌就职，目前担任谷歌DeepMind和谷歌研究院首席科学家。 

Gemini将团队划分为约十个小组，分别负责预训练、数据、基础设施、模型微调、模型评估、代码库、多模态、强化学习、工具使用以及人工标注数据。 

詹姆斯·莫洛伊（James Molloy）和汤姆·亨尼根（Tom Hennigan）都曾在DeepMind工作过，与谷歌高级研究员保罗·巴勒姆（Paul Barham）等一起负责基础设施建设。蒂莫西·利利克拉普（Timothy Lillicrap）曾参与DeepMind国际象棋和围棋相关系统的工作，他和谷歌大脑研究员艾米丽·皮特勒（Emily Pitler）负责管理一个小组，该小组的工作重点是赋予大型语言模型（LLM）处理数学或网络搜索等专业任务的能力。 

05 结语：谷歌计划通过Gemini来赶超OpenAI

谷歌或将于秋季发布会推出Gemini，这是其用来挑战OpenAI目前在AI领域地位的重要举措。The Information披露了该项目最新的进展，包括其多模态能力、训练数据等，且首次明确了该团队的小组分工及主管。 

Gemini项目的合并过程并不容易，涉及到两个独立团队的磨合。谷歌既要推出新技术，又不能削弱其核心搜索业务，且必须控制训练Gemini可能产生的巨额服务器成本。Gemini的表现将会如何，让我们期待谷歌的秋季发布会。