设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 华人生活 › 移民签证 › GPT-4背后的开发者：七大团队，三十余位华人 ...
回复 发帖
123下一页
返回列表 发新帖
开启左侧

[问答] GPT-4背后的开发者：七大团队，三十余位华人

[复制链接]
26362 20
Gohell 发表于 2023-3-21 06:00:20 | 只看该作者 打印 上一主题 下一主题
 
始于谷歌，发迹于 OpenAI，这是很多 GPT-4 贡献者的职业轨迹。
这个星期，OpenAI 大模型 GPT-4 的发布让全球科技圈的技术竞争进入了白热化。几天之内，ChatGPT、必应搜索和 Microsoft 365 相继接入 GPT-4，微软的 AI 应用瞬间比竞争对手拉开一个身位，甚至有人说，新的工业革命开始了。
一方面我们被 GPT-4 的效果所震撼，一方面我们也迫不及待的想要了解背后的技术，好奇它的训练方法、使用的算力等。
但遗憾的是，OpenAI 并不 Open。在公开的论文（其实更像技术报告）中，OpenAI 明确地说，GPT-4 模型使用 RLHF 精调外，不会公开任何技术细节。

GPT-4背后的开发者：七大团队，三十余位华人 第1张图片
鉴于 GPT-4 等大型模型的竞争性与安全影响，本报告不包含有关架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法等更多详细信息。
不过，在此报告中，OpenAI 详细列出了贡献者及其负责的工作内容。这值得我们细致研究。这几百人的贡献者名单与分类，能让我了解到 GPT-4 的成功背后包含了哪些部门、技术分枝的努力。
在这篇文章中，我们对有代表性的贡献者进行了盘点，期待能为读者带来启发。
研发人员占绝大多数
从组织架构的设置上看，GPT-4 幕后的研发团队大致可分为七个部分：预训练（Pretraining）、长上下文（Long context）、视觉（Vision）、强化学习 & 对齐（RL & alignment）、评估 & 分析（Evaluation & analysis）、部署（Deployment），以及其他贡献者（Additional contributions）。
预训练部分的工作细分为：

  • 计算机集群扩展（Compute cluster scaling）
  • 数据（Data）
  • 分布式训练基础设施（Distributed training infrastructure）
  • 硬件正确性（Hardware correctness）
  • 优化 & 架构（Optimization & architecture）
  • Training run babysitting

长上下文部分的工作细分为：

  • 长上下文研究（Long context research）
  • 长上下文内核（Long context kernels）

视觉部分的工作细分为：


  • 架构研究（Architecture research）
  • 计算机集群扩展（Compute cluster scaling）
  • 分布式训练基础设施（Distributed training infrastructure）
  • 硬件正确性（Hardware correctness）
  • 数据（Data）
  • 对齐数据（Alignment Data）
  • Training run babysitting
  • 部署 & 后训练（Deployment & post-training）

强化学习 & 对齐部分的工作细分为：

  • 数据集贡献（Dataset contributions）
  • 数据基础设施（Data infrastructure）
  • ChatML 格式（ChatML format）
  • 模型安全（Model safety）
  • Refusals
  • 基础 RLHF 和 InstructGPT 工作（Foundational RLHF and InstructGPT work）
  • Flagship training runs
  • 代码功能（Code capability）

评估 & 分析部分的工作细分为：

  • OpenAI Evals 库
  • 模型等级评估基础设施（Model-graded evaluation infrastructure）
  • 加速预测（Acceleration forecasting）
  • ChatGPT 评估
  • 能力评估（Capability evaluations）
  • 编码评估（Coding evaluations）
  • 真实世界用例评估（Real-world use case evaluations）
  • 污染调查（Contamination investigations）
  • 指令遵循和 API 评估（Instruction following and API evals）
  • 新功能评估（Novel capability discovery）
  • ……

细读贡献者名单，不难发现，GPT-4 项目团队的成员通常「身兼数职」。对于希望追赶 ChatGPT 的科技公司来说，OpenAI 提供的部门架构样板提供了一些可以学习的思路。另外，它对于 AI 领域人才的未来发展方向或许也有一些启示。
在 ChatGPT 发布之后，OpenAI 在人才招聘方面也做出了一些调整，招募了数十名前谷歌和 Meta 员工来创建人工智能聊天机器人。
在 OpenAI 上，谷歌作为「硅谷黄埔军校」的名头算是坐实了：根据 LeadGenius 和 Punks & Pinstripes 的数据显示，该公司的 300 多名员工（数据截止到 2023 年 1 月）中有许多来自谷歌和 DeepMind 的母公司 Alphabet。数据显示，OpenAI 目前雇佣了约 59 名谷歌前员工和约 34 名 Meta 前员工，同时包括几名苹果和亚马的前逊员工。

GPT-4背后的开发者：七大团队，三十余位华人 第2张图片

鉴于 OpenAI 在 GPT-4 发布的第一时间就公开了所有贡献者名单，机器之心整理了一部分参与工作的华人学者。如果遗漏，欢迎补充。
预训练组
Trevor Cai
Trevor Cai 是 GPT-4 项目中吞吐量团队的负责人。Trevor Cai 本硕毕业于南加州大学，2022 年 3 月加入 OpenAI。在加入 OpenAI 之前，Trevor Cai 曾在 DeepMind 工作近 5 年，担任软件工程师。
袁启明

GPT-4背后的开发者：七大团队，三十余位华人 第3张图片

袁启明（Qiming Yuan）是 GPT-4 项目数据集来源和处理团队的负责人。袁启明本科毕业于清华大学，硕士毕业于得克萨斯大学奥斯汀分校，2018 年加入 OpenAI。此前，袁启明曾在微软工作近三年。
Che Chang
Che Chang 作为 OpenAI 的副总法律顾问参与了 GPT-4 的研发，他博士毕业于美国西北大学，2021 年加入 OpenAI，此前在 AWS 领导了人工智能 / 机器学习和市场业务的法律团队。最近一段时间，OpenAI 的法律团队还在招聘 AI 产品顾问。
欧阳龙
欧阳龙 2019 年加入 OpenAI，担任研究科学家。Long Ouyang 本科毕业于哈佛大学，博士毕业于斯坦福大学，曾在斯坦福大学任博士后研究员。欧阳龙也参与研发了 ChatGPT 相关的技术项目，他还是 InstructGPT 论文的第一作者。
翁丽莲

GPT-4背后的开发者：七大团队，三十余位华人 第4张图片

翁丽莲（Lilian Weng）是 OpenAI 人工智能应用研究的负责人，2018 年加入 OpenAI，在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。
Tao Xu
Tao Xu 2019 年加入 OpenAI，先后毕业于北京大学、康奈尔大学。Tao Xu 曾在微软的必应机器学习研究组工作四年。
Jie Tang

GPT-4背后的开发者：七大团队，三十余位华人 第5张图片

Jie Tang 在加州大学伯克利分校获得计算机科学博士学位，导师是 Pieter Abbeel。加入 OpenAI 前，他曾在初创公司和 Dropbox 工作约四年时间。Jie Tang 本科就读于哈佛大学，2008 年获得计算机科学和经济学学士学位。
Ben Wang
Ben Wang 目前是宾夕法尼亚大学本科生，2021 年加入 OpenAI。Ben Wang 参与了 GPT-4 项目的预训练和长上下文方面的工作。
视觉组
Mark Chen

GPT-4背后的开发者：七大团队，三十余位华人 第6张图片

Mark Chen 2018 年加入 OpenAI，任研究科学家，毕业于麻省理工学院（MIT）。他参与了 GPT-4 项目中视觉方面的工作。
Casey Chu
Casey Chu2020 年加入 OpenAI，毕业于斯坦福大学计算数学专业。Casey Chu 的主要研究方向是多模态 AI 系统，他在 GPT-4 项目中主要参与视觉方面的工作。
胡绳丽

GPT-4背后的开发者：七大团队，三十余位华人 第7张图片

胡绳丽（Shengli Hu）2022 年加入 OpenAI，她硕士毕业于复旦大学、博士毕业于康奈尔大学。她的研究兴趣在于社会科学、计算语言学、计算机视觉和语音的跨学科研究。胡绳丽曾在自然语言处理、计算机视觉、语音和应用统计方面的顶级会议和期刊上发表过多篇论文，包括 CVPR、ACL、EMNLP、ECCV 等等，并获得过最佳论文奖提名。
Tianhao Zheng
Tianhao Zheng2022 年加入 OpenAI。他本科毕业于清华大学，博士毕业于得克萨斯大学奥斯汀分校。再加入 OpenAI 之前，他曾先后在英伟达、谷歌、Twitter 工作过。Tianhao Zheng 在 GPT-4 项目中主要参与了视觉方面的工作。
翁家翌

GPT-4背后的开发者：七大团队，三十余位华人 第8张图片

翁家翌（Jiayi Weng）2020 年在清华大学计算机科学与技术系获得本科学位。本科在朱军教授组学习期间，主要参与了强化学习算法库 Tianshou（天授）的开发，该项目已获得 5.9K GitHub Star。CMU 硕士毕业后，翁家翌加入 OpenAI 任研究工程师。
强化学习 & 对齐组
Chong Zhang

GPT-4背后的开发者：七大团队，三十余位华人 第9张图片
Chong Zhang 2010 年就读浙江大学计算机系，2014 年在加拿大西蒙弗雷泽大学获得学士学位，随后在谷歌、苹果公司担任工程师。2019 年就读加州大学洛杉矶分校，2021 年获得计算机硕士学位后，在 OpenAI 工作至今。
Shengjia Zhao

GPT-4背后的开发者：七大团队，三十余位华人 第10张图片
Shengjia Zhao2016 年本科毕业于清华大学，2022 年在斯坦福大学获得计算机科学博士学位，师从 Stefano Ermon，随后加入 OpenAI。
Stephanie Lin

GPT-4背后的开发者：七大团队，三十余位华人 第11张图片

Stephanie Lin 本科和硕士期间分别就读于麻省理工学院和佐治亚理工学院。加入 OpenAI 之前，她曾是牛津大学研究学者。
Tong Mu

GPT-4背后的开发者：七大团队，三十余位华人 第12张图片

Tong Mu 本科就读于加州大学洛杉矶分校，后在斯坦福大学获得博士学位。2022 年加入 OpenAI。
Jeff Wu

GPT-4背后的开发者：七大团队，三十余位华人 第13张图片

Jeff Wu 本硕均就读于麻省理工学院。他是初创公司 http://Terminal.com 的第二名员工，该公司被收购后，他曾在谷歌工作约 2 年的时间。2018 年，Jeff Wu 加入 OpenAI。
肖凯

GPT-4背后的开发者：七大团队，三十余位华人 第14张图片

肖凯（Kai Xiao）在麻省理工学院获得了学士学位和博士学位，曾在微软、DeepMind 等机构实习。2022 年 9 月加入 OpenAI。
Kevin Yu

GPT-4背后的开发者：七大团队，三十余位华人 第15张图片
Kevin Yu 在加州大学伯克利分校获得物理学学士学位及神经科学博士学位。2022 年加入 OpenAI。
Haozhun Jin

GPT-4背后的开发者：七大团队，三十余位华人 第16张图片
Haozhun Jin2013 年本科毕业于清华大学计算机系，2015 年获得斯坦福大学硕士学位。2015 年到 2018 年，他在 Meta 担任软件工程师，2023 年 1 月加入 OpenAI。
顾世翔

GPT-4背后的开发者：七大团队，三十余位华人 第17张图片
顾世翔是出生于日本的加拿大华人，曾是谷歌研究院研究科学家，研究领域包括深度学习、强化学习、概率机器学习和机器人技术。他拥有剑桥大学和马普所智能系统研究所的机器学习博士学位，在多伦多大学获得了工程科学学士学位，论文指导教授为 Geoffrey Hinton。
评估 & 分析团队
Alvin Wang

GPT-4背后的开发者：七大团队，三十余位华人 第18张图片
Alvin Wang2022 年 8 月加入 OpenAI，为评估 & 分析团队核心贡献者之一。此前他曾在 VMware、Tesla 等公司工作过几年。2013 年本科毕业于南加州大学。
Angela Jiang

GPT-4背后的开发者：七大团队，三十余位华人 第19张图片

Angela Jiang 于 2021 年 11 月加入 OpenAI，在微软和谷歌有过短暂的工作经历，她本科毕业于西北大学，于 CMU 获得博士学位。
Jason Wei

GPT-4背后的开发者：七大团队，三十余位华人 第20张图片

Jason Wei 于今年 2 月加入 OpenAI，主要研究 ChatGPT。此前他是谷歌 Brain 的高级研究科学家，在那里推广了思维链提示，并共同领导了指令调优工作。他在谷歌和 Jeff Dean 等人共同撰写了关于大模型涌现能力的论文。
Juntang Zhuang

GPT-4背后的开发者：七大团队，三十余位华人 第21张图片

Juntang Zhuang 于 2022 年 4 月加入 OpenAI，此前曾在谷歌实习四个月。他本科毕业于清华大学，硕士毕业于耶鲁大学，并在耶鲁大学拿到博士学位。他的研究主要是为生物医学应用开发新的机器学习技术。
Derek Chen

GPT-4背后的开发者：七大团队，三十余位华人 第22张图片

Derek Chen 于 2021 年加入 OpenAI，是一名技术安全分析师。他毕业于美国东北大学，此前在谷歌工作过不到一年的时间。
宋飏

GPT-4背后的开发者：七大团队，三十余位华人 第23张图片

宋飏（Yang Song）目前在 OpenAI 担任研究员，并将于 2024 年 1 月加入加州理工学院电子系（Electrical Engineering）和计算数学科学系（Computing and Mathematical Sciences）担任助理教授。宋飏本科毕业于清华大学数理基础科学班，2022 年获得斯坦福大学计算机科学博士学位，师从 Stefano Ermon。他的主要研究方向是机器学习，包含深度生成式模型（deep generative models），概率推理（probabilistic inference），人工智能安全性（AI safety），以及人工智能方法与其他科学领域的交叉（AI for science）。他是扩散模型（diffusion models）和分数匹配生成式模型（score-based generative models）的主要奠基人之一。他发表在 NeurIPS 2019 的工作首次在图片生成质量上实现了对生成对抗网络（GAN）的超越。博士期间他的一作论文获得了 ICLR 2021 杰出论文奖，相关研究获得了苹果奖学金、摩根大通奖学金，以及 WAIC 云帆奖。
模型部署
Michael Wu

GPT-4背后的开发者：七大团队，三十余位华人 第24张图片

Michael Wu 2021 年加入 OpenAI，主要的工作是人工智能应用研究。Michael Wu 毕业于 MIT，是 GPT-4 项目的推理研究负责人。
Andrew Peng

GPT-4背后的开发者：七大团队，三十余位华人 第25张图片

Andrew Peng 2022 年底加入 OpenAI，他曾经在微软工作两年。Andrew Peng 毕业于加州大学伯克利分校，主要参与 GPT-4 API 和 ChatML 部署方面的工作。
吴雪枫

GPT-4背后的开发者：七大团队，三十余位华人 第26张图片

吴雪枫（Sherwin Wu）2022 年加入 OpenAI，主要的工作是人工智能应用及 API 开发。吴雪枫毕业于 MIT，在 GPT-4 项目中主要参与 API 开发和 ChatML 部署方面的工作。
Jason Chen

GPT-4背后的开发者：七大团队，三十余位华人 第27张图片

Jason Chen 本科就读于麻省理工学院，2007 年到 2014 年期间在谷歌担任软件工程师，2014 年到 2019 年任职于初创公司 Apptimize，2019 年到 2023 年 2 月任职于 Argo AI，2023 年 2 月加入 OpenAI。
其他贡献者
Xin Hu

GPT-4背后的开发者：七大团队，三十余位华人 第28张图片

Xin Hu 于 2022 年 6 月加入 OpenAI，主要负责开发用于云安全、k8s 安全、认证 / 授权和访问控制的安全服务和平台。
此外，在 GPT-4 的开发上 OpenAI 也对微软表示了感谢，特别是微软 Azure 服务为模型训练提供了基础架构设计和管理方面的支持，微软必应团队、安全团队也对 GPT-4 的部署等工作作出了贡献。
参考链接：https://openai.com/contributions/gpt-4?continueFlag=ee0eebd278339fc5ba428add63b4b4fd
https://cdn.openai.com/papers/gpt-4-system-card.pdf


上一篇：这次医保改革饱受争议，是谁惹出来的祸，是谁出的馊主意？
下一篇：2023全球护照排名新鲜出炉，第一名意想不到！
标签：日本加拿大洛杉矶华人加州
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报

关联主题
回复

使用道具 举报

 

精彩评论20

正序浏览
跳转到指定楼层
沙发
故园２３ 发表于 2023-3-21 06:01:14 | 只看该作者
 
可以，非常厉害，多报道一些优秀的科学家
回复 支持 反对

使用道具 举报

 
板凳
无双圣人白凤凰 发表于 2023-3-21 06:01:33 | 只看该作者
 
他们要是都会喝酒，就能来中国发展了。这么有才华真是没用对地方
回复 支持 反对

使用道具 举报

 
地板
蠢萌哒小白 发表于 2023-3-21 06:01:47 | 只看该作者
 
橘生淮北就怎么样？
回复 支持 反对

使用道具 举报

 
5#
am小暗 发表于 2023-3-21 06:02:20 | 只看该作者
 
[捂脸]两国对人才的标准真是不一样
回复 支持 反对

使用道具 举报

 
6#
喜游乐享 发表于 2023-3-21 06:03:15 | 只看该作者
 
只会喝酒，不会敬酒也不行啊！
回复 支持 反对

使用道具 举报

 
7#
q253016078 发表于 2023-3-21 06:03:21 | 只看该作者
 
党会动用一切爱国情怀请他们回来
回复 支持 反对

使用道具 举报

 
8#
H回忆梦 发表于 2023-3-21 06:03:32 | 只看该作者
 
他们都不准参加赢趴[生气][生气]
回复 支持 反对

使用道具 举报

 
9#
海绵宝宝是个受 发表于 2023-3-21 06:03:57 | 只看该作者
 
你把他们想的太好了，福利待遇这两点才是关键
回复 支持 反对

使用道具 举报

 
10#
坐着木筏黑八方 发表于 2023-3-21 06:04:24 | 只看该作者
 
不会人情事故，就算会开发AI,那有什么用？
回复 支持 反对

使用道具 举报

 
下一页 »
123下一页
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Gohell白金会员

0关注

9粉丝

422帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-7-1 06:37