2 posts tagged with "ChatGPT"

来自常见信息来源的有趣新闻和每周最佳研究论文列表

一场新的工业革命正在展开，由AI工厂的兴起所驱动。 这些设施正在改变各个层级的计算，从庞大的数据中心到日常使用的笔记本电脑，很可能很快就会转变为AI笔记本电脑。 在2024年Computex大会上，Jensen Huang强调了这种转变， 指出需要整个行业的合作：硬件供应商、软件开发商和企业需要共同努力，从数据中心转型为AI工厂。 Jensen Huang表示，这种转变不仅仅是技术上的，还涉及到重塑整个计算领域。他通常对自己的言论非常自信。

在Nvidia的预先简报会上，高管们强调了AI PC的重大关注点，这项技术是Nvidia在六年前（2018年）引入的。 这个创新在游戏、内容创作和软件开发等领域引发了革命性变化。

AI PC在过去六年间并未广泛讨论，但现在——得益于微软和Nvidia——它们正在变得无处不在，并与关于新工业革命的对话一起进行。 尽管我们仍处在起步阶段，但确实需要回顾历史。 2018年和2019年初，另一重大事件震撼了机器学习社区。 这一事件促成了突破性的里程碑：ChatGPT。让我们一起回顾这一时间线：

• 2018年，生成预训练变换模型（GPT）的创建引发了—>
• 2019年2月，GPT-2——一个拥有15亿参数的大型语言模型。 由于担心滥用，GPT-2未完全公开，仅提供了一个小得多的模型供研究人员实验，并附有一篇技术论文，随后引发了—>
• 2020年，GPT-3和论文《语言模型是少量样本学习者》，进而演变为—>
• 2022年，GPT-3.5和其微调版本InstructGPT，并附有研究论文《通过人类反馈训练语言模型遵循指令》。
• 2022年11月，ChatGPT。其训练方式与InstructGPT非常相似， 其背后的魔力基于研究论文《基于人类偏好的深度强化学习》，这种技术称为基于人类反馈的强化学习（RLHF）。

现为Anthropic联合创始人、前OpenAI政策主管的Jack Clark今天反思了GPT-2的发布，他形容这是“时光旅行的一个例子”。 2019年，OpenAI因担心滥用而决定不完全公开GPT-2，这一决定在AI社区引发了热烈辩论。这场辩论的核心在于平衡创新与伦理责任。 批评者认为，保留模型可能会减缓科学进步，而支持者赞扬OpenAI的谨慎态度。

Jack认为，偏离常规可能引发反作用。 通过逐步发布GPT-2，OpenAI无意中激发了开发开源GPT-2级系统的兴趣，因为其他人希望填补这一空白。 如果GPT-2一开始就完全发布，可能会有更少的复制，因为更少的人会感到有必要证明OpenAI的错误。

在Clark对那段动荡时期的回忆中，有许多有趣的问题。虽然值得全文阅读，但以下是一些值得注意的引言：

• “即使你能想象某事在技术上是可能的，你也不太可能正确预测它到来的时间或其严重性。”

• “我逐渐相信在政策上‘一点点就能产生巨大影响’——比起对特定未来设计的想法进行自信的押注， 提倡那些在所有未来中你认为是稳健的好想法要好得多。”

• “我们应该害怕这些监管思想所编码的权力结构，并且我们应该将它们视为本身具有危险性的东西。 我担心，与长期AI安全和AGI愿景一致的AI政策社区因为赋予未来AGI毁灭人类极高的概率， 就认为这可以证明当前的任何行动是正当的。”

• “五年后，因为像GPT-2这样的事情，我们正处于AI部门的大规模工业化之中，以响应这些想法的规模化。 现在，有一种强烈的似曾相识感——人们（包括我）正在关注像Claude 3或GPT-4这样的模型， 并对这些系统的技术含义以及进一步扩展它们的含义发表自信的言论，有些人正在利用这些含义来证明在当前实施越来越严格的政策制度的必要性。 我们是否在重复五年前犯下的错误？”

我们没有答案，但可以对这场由扩展定律推动、现在由AI工厂推动的新工业革命发表一些自信的言论。 像Jensen Huang这样的人认为，我们正处于重新定义技术可能性的时刻。 你怎么看？要看到未来的大局，我们——一如既往——鼓励你了解过去。

附加阅读： 甚至像Andrej Karpathy那样与过去玩耍：他刚刚发布了一种快速且成本效益高的方法来训练GPT-2模型。 使用8xA100 GPU训练一个小型GPT-2（124M参数）需要90分钟和20美元。 350M版本需要14小时和200美元，而完整的1.6B模型需要一周和2500美元。 该方法使用Karpathy的llm.c库，它利用纯C/CUDA进行高效LLM训练，无需大型框架。

来自常见信息来源的新闻​

2024年初的AI现状​

• 根据麦肯锡的说法，生成式AI的采用正在激增，开始产生可观的价值。

OpenAI的：威胁行为者、安全委员会和回归机器人学

• OpenAI发布了一份详细报告，强调其AI模型在俄罗斯、中国、伊朗和以色列威胁行为者的隐蔽影响行动中被使用。 这些行动旨在操纵公众舆论和政治结果，但尽管内容生成增加，但在吸引真实受众方面效果不佳。 作为回应，OpenAI实施了诸如禁止账户、分享威胁指标和加强安全协议等措施。 值得注意的活动包括“Bad Grammar”（俄罗斯）、“Doppelganger”（俄罗斯）、“Spamouflage”（中国）、“IUVM”（伊朗）和“Zero Zeno”（以色列）。 这强调了AI在进行和防御隐蔽信息操作中的双重角色，突显了全面防御策略的必要性。

• 他们还成立了一个安全和安保委员会，以解决关键的安全问题。 该委员会由Bret Taylor、Adam D’Angelo、Nicole Seligman和Sam Altman领导， 负责在90天内提出安全建议，并咨询网络安全专家。 这些建议将公开分享，以确保OpenAI项目的强健安全和安保措施。

• 其他新闻中，OpenAI重新启动了其机器人团队，并正在招聘。 回顾过去（也是2018年）：学习灵巧的手部操作。 当时，他们开发了一个名为Dactyl的系统，该系统完全在模拟中训练， 但已被证明能够解决不依赖物理精确建模的现实任务。

Claude 3增强工具集成​

• Claude 3模型系列现在支持工具使用， 能够与Anthropic Messages API、Amazon Bedrock和Google Cloud的Vertex AI上的外部工具和API进行交互。

NVIDIA的新AI芯片：Vera Rubin​

• 在Computex大会上，NVIDIA CEO Jensen Huang在主题演讲中宣布了名为Vera Rubin的AI芯片（以发现暗物质的美国天文学家命名），计划于2026年推出。 该新芯片将配备为AI应用设计的最先进的GPU和CPU。 NVIDIA计划每年升级其AI加速器，从2025年的Blackwell Ultra开始，重点在于成本和能源效率。

• 他们还推出了地球气候数字双胞胎，能够不仅预测而且了解我们的星球及其气候的现状。

Mistral AI推出Codestral​

• Mistral AI的研究人员推出了Codestral，一个22B开源权重的生成式AI模型，专为代码生成而设计。 支持超过80种编程语言，Codestral在代码补全和测试编写等任务中表现优异，在长距离代码库级别代码补全方面优于其他模型。 通过HuggingFace提供用于研究和测试的访问，Codestral还与VSCode和JetBrains等流行工具集成，提升开发者生产力。

最新的研究论文，按类别分类以便查阅​

我们的前三名​

法国人了解他们的醒酒 → Hugging Face推出🍷 FineWeb

在博文“🍷 FineWeb：醒酒网络以获取最优质的文本数据规模”中， 研究人员介绍了一个从CommonCrawl快照中提取的15万亿标记的大型数据集。 FineWeb专为LLM预训练设计，通过细致的去重和过滤，强调高质量数据。 他们还开发了FineWeb-Edu，一个优化教育内容的子集，在教育基准

上表现优于现有数据集。他们还使这篇博文成为病毒式传播！ 一如既往，向Hugging Face致敬，感谢他们对开放、透明方法的关心， 创建大规模高质量数据集用于LLM训练，以及对葡萄酒的热爱（但这只是一个假设）。

Mamba-2来了！变压器是SSM**：通过结构化状态空间对偶性实现通用模型和高效算法**

来自普林斯顿大学和卡内基梅隆大学的研究人员揭示了变压器和状态空间模型（SSM）之间的深层理论联系。 他们引入了一个名为结构化状态空间对偶性（SSD）的框架，表明SSM可以像变压器一样高效。 他们设计了Mamba-2，一个精细的SSM架构，其速度是前身Mamba的2-8倍（了解Mamba）。 Mamba-2在语言建模任务中仍与变压器竞争，同时优化了内存和计算效率。

视觉语言模型（VLMs）简介

来自Meta、Mila、MIT等知名机构的研究人员介绍了VLMs，解释了它们的功能、训练和评估。 他们强调了在对齐视觉和语言方面的挑战，例如理解空间关系和属性。 论文将VLMs分类为不同的家族，基于对比、掩蔽和生成技术等训练方法。 它还讨论了使用预训练的骨干来增强模型性能，并探索了将VLMs扩展到视频数据以改善时间理解。

AI模型增强​

• 变压器可以通过正确的嵌入进行算术 - 使用新颖的嵌入技术提高变压器的算术能力 →阅读论文

• Trans-LoRA：数据无关的可迁移参数高效微调 - 提高参数高效模型的可迁移性，无需原始数据 →阅读论文

• LOGAH：使用图超网络以1/100参数预测774百万参数变压器 - 利用图网络高效预测大型模型参数 →阅读论文

• 2BP：两阶段反向传播 - 提出一个两阶段的反向传播过程，以提高计算效率 →阅读论文

• LLAMA-NAS：用于大型语言模型的高效神经架构搜索 - 使用神经架构搜索找到高效的模型配置 →阅读论文

• VeLoRA：使用秩-1子标记投影进行内存高效训练 - 通过创新的数据投影技术减少训练期间的内存需求 →阅读论文

• Zipper：融合模态的多塔解码器架构 - 使用多塔架构在生成任务中高效集成不同模态 →阅读论文

• NV-Embed：用于通用嵌入模型训练的改进技术 - 提高嵌入训练的质量，以增强检索和分类任务 →阅读论文

• JINA CLIP：你的CLIP模型也是你的文本检索器 - 使用对比训练提高CLIP模型在文本-图像和文本-文本检索任务中的表现 →阅读论文

AI在多模态和专门任务中的应用​

• Matryoshka多模态模型 - 通过嵌套视觉标记提高多模态模型的效率 →阅读论文

• Zamba：一个紧凑的7B SSM混合模型 - 结合状态空间和变压器模型，创建一个紧凑高效的混合模型 →阅读论文

• 相似性不是全部：赋予检索增强生成系统多层次思维 - 在检索增强生成系统中整合更深的上下文理解 →阅读论文

AI伦理、隐私和对齐​

• 离线正则化强化学习用于LLM对齐 - 通过强化学习对齐AI行为与人类意图 →阅读论文

• 价值激励偏好优化：统一的在线和离线RLHF方法 - 提出一种适用于在线和离线环境的人类反馈学习新方法 →阅读论文

• 鹦鹉：使用语义变量高效提供LLM应用服务 - 利用应用级信息优化语言模型应用服务 →阅读论文

• 创新与隐私的交叉点：生成式AI的私有合成数据 - 探索在AI训练中维护隐私的技术 →阅读论文

AI的认知能力​

• LLMs在高级心理理论任务中达到成人水平 - 评估大型语言模型执行复杂认知任务的能力，比较其与人类的表现 →阅读论文

Sam Altman的愿景是什么，OpenAI如何赚钱，ChatGPT成功的原因，以及对AI法规的迫切需求

自从OpenAI发布ChatGPT以来，OpenAI的开放性和影响力可能是被问到最多的问题。我们筛选了至少50篇不同的文章和付费出版物，为您带来这个旨在开发友好AI并保持对其控制权，最终创造巨大财富并以某种方式将其分配给人们的公司的引人入胜的故事。

追踪ChatGPT的发展过程——其创造过程及其成功的因素也同样引人入胜。我们找到了所有相关的研究论文并与您分享——它们将是非常有洞察力的阅读材料。

我们揭示了关键人物及其愿景。展望未来，我们还透露了OpenAI的资金情况、投资雄心，以及——一个重要的社会问题——OpenAI在大型语言模型（LLM）安全方面的工作。

这个简介充满了独特的细节和重要的链接，您不太可能在别处集体找到这些内容。正如Stratechery所建议的那样，OpenAI有可能“成为所有其他AI公司建立的平台”。我们不能确定这是否会成真，但了解他们的最初意图和当前雄心可能是至关重要的。

1. 创始人的意图和内部摩擦
2. Sam Altman的愿景
3. 财务状况和当前投资
4. GPT发展历史及其他有趣的产品
5. 安全与对齐
6. 法规的迫切需求
7. 附加：什么是OpenAI以及谁是OpenAI

创始人的意图和内部摩擦​

据称，OpenAI于2015年由Elon Musk和Sam Altman因对AI技术的风险和机遇的共同看法而成立。他们希望通过将公司命名为OpenAI并使其成为非营利组织，以最开放的方式朝着人工通用智能（AGI）前进。他们并不是第一个宣布AGI为目标的公司，但意图是不同的，没有被商业利益所掩盖。公告中说：“拥有一个可以优先考虑所有人良好结果而不是自身利益的领先研究机构将是重要的。” “研究人员将被强烈鼓励发表他们的工作，无论是论文、博客文章还是代码，我们的专利（如果有的话）将与世界分享。”正如《纽约客》的Tad Friend所说：“OpenAI特别担心谷歌的DeepMind Technologies部门正在寻求一个可以监控世界竞争对手的顶级AI。Musk告诉我，“如果他们开发的AI出错了，我们有可能永远拥有一个不朽且超强大的独裁者。”他继续说道，“将所有竞争的AI研究人员全部杀死作为其第一个举动，这让我觉得有点性格缺陷。”

2018年，一切都改变了：Elon Musk从董事会辞职，官方理由是Tesla和OpenAI之间的潜在利益冲突，但最有可能是因为他无法接管公司并按照自己的方式运行。

这与组织意识到自己作为非营利组织无法生存的认识同时发生。随着其研究变得更加雄心勃勃，显然它需要大量资金来实现其目标。

为应对这一挑战，Sam Altman提出了一个新颖的组织结构。在这种结构下，OpenAI将保持一个专注于基础AI研究的非营利实体，同时创建一个营利部门来开发和商业化AI技术。2019年，OpenAI宣布成立一个名为OpenAI LP的营利子公司，以吸引更多资金并与其他公司建立合作关系。

这种结构背后的想法是通过商业AI产品和服务产生收入，然后将这些收入重新投资于OpenAI的研究工作。这将使OpenAI能够追求开发先进的AI技术，例如能够与或超过人类智能的机器，而不完全依赖于慈善捐款。

OpenAI的营利部门引起了很大的争议和批评。

2022年12月，Elon Musk在推特上谈到ChatGPT：“训练AI变得觉醒——换句话说，撒谎——的危险是致命的。”并在2月指责该公司是“一个封闭源代码的、以最大利润为目标的公司，实际上由微软控制。”

“大部分是不真实的，我认为Elon知道这一点，”Altman在“Kara Swisher的访谈”播客中回应道，并补充说：“他是个混蛋。”

Sam Altman的愿景​

所以，在阅读了《纽约客》、《信息报》、《纽约时报》和《麻省理工技术评论》中的几篇关于Sam Altman的文章后，似乎他的OpenAI愿景是实现AGI。他相信AGI的创造将创造巨大的财富，但他不确定这笔财富将如何在人类中分配以及它将对社会产生什么影响。

他还将公司抱负与曼哈顿计划相比，该计划在二战期间开发了第一颗原子弹，表明OpenAI的目标是实现类似规模和影响的东西。

毫无疑问，Altman对OpenAI的愿景是非常雄心勃勃的，并且涉及到很大的不确定性和潜在的后果。最近，命名已经改变，不再是AGI，而是OpenAI关注超级智能。

我推荐阅读这些文章以了解Sam Altman、Greg Brockman及其驱动OpenAI的动力：

• Sam Altman的《Manifest Destiny》（《纽约客》）
• 《OpenAI拯救世界的混乱和秘密现实》（《麻省理工技术评论》）
• 《ChatGPT之王并不担心，但他知道你可能会》（《纽约时报》）
• 《颠覆技术的OpenAI编码员》（《信息报》）

（其中一些文章需要付费，如果您是我们的付费订阅者，请告知我们，我们将发送PDF给您）

财务状况​

杰出资金​

2015年 非营利组织成立时，Sam Altman、Greg Brockman、Reid Hoffman、Jessica Livingston、Peter Thiel、Elon Musk、Amazon Web Services（AWS）、Infosys和YC Research共同承诺出资10亿美元。

2016年 来自Y Combinator的12万美元种子轮融资。

2019年 来自微软的10亿美元投资（分为现金和对Azure的信用，Azure是微软的云计算平台）。

2023年 来自微软的100亿美元（传闻）投资，扩展了他们与OpenAI的合作伙伴关系，其中包括ChatGPT工具的独家使用微软Azure作为云提供商以及GPT-4的独家访问权，后者将为微软的Bing提供Prometheus模型的支持。

估值（根据《华尔街日报》）​

2021年 大约140亿美元

2023年 大约290亿美元

投资资金​

OpenAI创业基金/Converge加速器计划于2021年5月26日宣布，共筹集1亿美元。

2023年5月，根据SEC文件，OpenAI关闭了一只价值超过1.75亿美元的投资基金。

当前投资​

• 1X Technologies 前身为Halodi（人形机器人公司）
• Atomic Semi （半导体实验室）
• Kick （簿记）
• Descript （一个协作音频和视频编辑器，将音频转录为可编辑的文本文档）。
• EdgeDB （一个开源图关系数据库）。
• Mem （记笔记应用）
• Ambience Healthcare （使命是用AI超级能力增强医疗服务提供者）。
• Speak （语言学习应用）
• Harvey （法律应用）
• Anysphere （代码编辑器）
• Cursor （代码编辑器）
• Milo （父母的助手）
• qqbot.dev （代码助手）
• Diagram （将AI引入Figma）

GPT发展故事​

OpenAI的开发者对ChatGPT的成功感到困惑，因为它是他们已经拥有的AI系统的一个版本。同样的基本模型在ChatGPT推出前几乎已经在API上可用近一年。但包装极其重要。“我们让它更符合人们想要用它做的事情。它与你对话，它在聊天界面中易于访问，它试图提供帮助。这是惊人的进步，我认为人们正在意识到这一点，”OpenAI的对齐团队负责人Jan Leike在《麻省理工技术评论》中解释道。

ChatGPT：基于大型语言模型（LLM）的聊天机器人。您可以在这里找到ChatGPT API。

ChatGPT成功之路（链接到重要的研究论文）：​

**

ChatGPT是如何起源的：**

• GPT-1：“语言模型的改进能力” - 2018年6月11日发布
• GPT-2：“语言模型是一种无监督的多任务学习者” - 2019年2月14日发布
• GPT-3：“语言模型的少量示例学习” - 2020年5月28日发布
• ChatGPT：2022年11月30日发布
• GPT-4：2023年3月14日发布
• ChatGPT Plugins：2023年3月23日发布

除了对基础语言模型（LLM）的开发，OpenAI还发布了很多相关产品：

2020年：

• DALL-E：一个生成图像的系统，输入为文本描述。

2021年：

• CLIP：一个多模态模型，能够理解图像和文本的含义。
• Codex：一个用于编写代码的AI助手，能够理解自然语言并生成相应的代码。

安全与对齐​

正如在早期创始愿景中提到的那样，OpenAI对安全和对齐的关注始终如一。近年来，OpenAI在这一领域发布了一系列重要研究：

• 2016年：Concrete Problems in AI Safety
• 2021年：Avoiding a Negative Side of AI
• 2022年：Aligning Language Models to Follow Instructions

这些研究反映了OpenAI对确保其开发的AI系统安全、可靠和对齐的重要性。

法规的迫切需求​

最近，Sam Altman在美国国会听证会上对AI的法规表示支持。他强调了AI技术的巨大潜力，但也警告了其潜在的风险，特别是在隐私、就业和安全等方面。他呼吁制定国际AI法规，以确保AI技术的开发和使用符合伦理标准，并保护公众利益。

Altman提出了几个关键建议，包括：

• 建立一个国际AI监管机构，负责监督和管理全球AI开发和使用。
• 强制要求AI系统的透明度和问责制，以确保公众能够了解和信任这些技术。
• 制定AI技术的伦理和安全标准，以保护人类利益和福祉。

这些建议反映了OpenAI在确保其技术对社会产生积极影响方面的承诺，以及对AI技术可能带来的挑战的深刻认识。

附加：什么是OpenAI以及谁是OpenAI​

OpenAI成立于2015年，旨在确保人工智能技术对全人类的利益服务。OpenAI的使命是确保人工通用智能（AGI）能够造福全人类，并通过研究和开发先进的AI技术来实现这一目标。OpenAI的研究涵盖了从自然语言处理到计算机视觉的广泛领域，其发布的GPT系列模型在AI领域引起了广泛关注和应用。

OpenAI的创始人和关键人物包括：

• Sam Altman：OpenAI的现任CEO，前Y Combinator总裁。
• Greg Brockman：OpenAI的CTO，负责OpenAI的技术战略和产品开发。
• Ilya Sutskever：OpenAI的首席科学家，深度学习领域的顶尖研究者之一。
• Elon Musk：Tesla和SpaceX的创始人之一，也是OpenAI的联合创始人，但已于2018年离开董事会。

OpenAI通过与微软等公司的合作，以及对AI技术的商业化应用，成功地筹集了大量资金，以支持其研究和开发工作。与此同时，OpenAI在AI安全、伦理和法规方面的积极倡导，展示了其在确保AI技术对社会产生积极影响方面的承诺。

总结​

1. 创始人的意图和内部摩擦

• OpenAI成立于2015年，创始人包括Elon Musk和Sam Altman，旨在以最开放的方式开发人工通用智能（AGI）。
• 2018年，Elon Musk因潜在利益冲突辞职，OpenAI意识到作为非营利组织无法生存，转型为营利性实体。

2. Sam Altman的愿景

• Altman的愿景是实现AGI，认为其创造将带来巨大财富，但分配方式和社会影响尚不确定。
• 他将OpenAI的目标与曼哈顿计划相比，表明其目标的规模和影响。

3. 财务状况和当前投资

• 主要资金来源包括2015年的10亿美元承诺、2019年和2023年微软的投资。
• OpenAI当前估值大约为290亿美元，并设有1.75亿美元的投资基金。
• 投资对象包括1X Technologies、Atomic Semi、Kick、Descript等公司。

4. GPT发展历史及其他产品

• ChatGPT基于大型语言模型（LLM），其成功在于便捷的聊天界面和帮助性。
• 主要发展历程包括: GPT-1、GPT-2、GPT-3、ChatGPT和GPT-4，以及相关产品如DALL-E、CLIP和Codex。

5. 安全与对齐

• OpenAI对AI安全和对齐的关注始终如一，发布了一系列重要研究以确保AI系统的安全、可靠和对齐。

6. 法规的迫切需求

• Sam Altman在美国国会听证会上呼吁制定国际AI法规，强调AI技术的巨大潜力和潜在风险。
• 建议建立国际AI监管机构，确保AI系统透明、问责，并制定伦理和安全标准。

7. 附加：什么是OpenAI以及谁是OpenAI

• OpenAI的使命是确保AGI造福全人类，涵盖从自然语言处理到计算机视觉的广泛研究领域。
• 关键人物包括CEO Sam Altman、CTO Greg Brockman、首席科学家Ilya Sutskever等。
• 通过与微软合作和对AI技术的商业化应用，OpenAI成功筹集大量资金，同时在AI安全、伦理和法规方面积极倡导。