这里记录每周值得分享的AI科技内容,周末发布。
本杂志开源(GitHub: aitobox/newsweekly),欢迎提交 issue,投稿或推荐你的项目。
Lex Fridman采访了Sam Altman,这次采访有快两个小时,基本上谈到了所有需要谈的内容。
包括GPT-5、Sora、董事会闹剧、马斯克、Ilya去向以及最重要的AGI。
访谈内容:
-
计算力将成为未来最宝贵的财富之一,人工智能的发展将是一场巨大的权力斗争。
-
Sam回顾了在OpenAI董事会经历的困难时刻,称其为职业生涯中最痛苦、混乱和令人沮丧的经历,但这些经历有助于增强韧性。
-
OpenAI正在寻找新的董事会成员,希望引入具有不同专业背景的人才,包括非营利组织、学习型公司、法律和治理等领域的专家。
-
董事会需要回应全球的需求,而不仅仅是自身利益。
-
人们对产品发布策略的反思,认为应该更加迭代地发布,避免突然的更新,以满足用户的需求。
-
GPT-4是一个重要的里程碑,但并不足以改变世界。真正意义上的AGI应该能够显著提高科学发现的速度。
-
大部分真正的经济增长来自科学技术的进步。
-
Sam期望首个AGI系统能够回答关于宇宙统一理论和外星文明存在性等重大科学问题。
-
没有任何一个个体或机构应该对AGI拥有绝对控制权,需要建立一个强大的治理系统来管理AI的发展。
-
目前AI安全研究者过于关注某些具体的技术风险,而忽视了其他一些重要的问题。
-
未来编程可能会以自然语言交互的方式进行,传统的编码方式可能会逐渐减少。
-
OpenAI在机器人领域有一些进展和规划。
-
虚拟现实技术以其超逼真和照片般的真实感著称,在虚拟世界中很容易迷失自己。
-
作者对大自然机械化运作的进化机制赞叹不已,尤其是在亚马逊丛林中的观察。
-
科技发展非常强大且吓人,但作者对宇宙中存在智慧外星文明非常有信心。
-
人工智能可能更像是人类之间的支撑和社会联系,而不是单个大脑。
-
人类共同建立的知识基础赋予了我们无比的能力,这种集体创造让作者对未来抱有希望。
-
在对人工智能未来的展望中,Sam表达了对人类未来的乐观态度,认为人类社会一直在持续进步。
-
Sam引用了科幻作家Arthur C. Clark的一句话:”在这个星球上,我们的角色可能不是崇拜上帝,而是创造上帝。
-
资讯地址:
https://www.youtube.com/watch?v=jvqFAi7vkBc&t=3s
Grok-1是一个拥有3140亿参数的专家混合模型,由xAI从头开始训练。
模型由8个专家组成,实际激活的参数数量为86B。模型使用了旋转位置嵌入,词汇量达到131,072,与GPT-4相似。
模型详情:
• 参数规模:Grok-1拥有3140亿参数,这是一个指示模型复杂度和处理能力的关键指标。参数越多,模型理解和生成文本的能力通常越强。
• 专家混合模型:这意味着Grok-1利用了一种特定的网络架构,其中25%的权重在处理给定令牌时是激活的。这种设计旨在提高模型的效率和效果,通过专门的“专家”处理特定类型的信息。
• 训练过程:Grok-1由xAI从头开始训练,使用的是在JAX和Rust之上构建的自定义训练堆栈。模型的训练完成于2023年10月,表明它采用了最新的技术和数据。
• MoE层实现:模型中的MoE(Mixture of Experts)层实现并不高效,但这种设计选择是为了避免需要自定义内核以验证模型的正确性。这可能意味着在实际应用中,用户可能需要考虑如何优化或适应其硬件环境。
- 体验地址
https://github.com/xai-org/grok-1
3月4日晚,生成式AI平台Anthropic在官网正式发布了Claude3系列多模态大模型,其中包括Haiku、Sonnet和Opus三个版本,这三个模型目前都支持20万上下文窗口。官方表示,它们也支持100万上下文,只提供给特定用户。
- 功能特点
据评测报告显示,Opus在研究生水平专家推理、基础数学、本科水平专家知识、代码等10个维度上超过了OpenAI的GPT-4。
除了性能提升,Claude3注重用户体验,Sonnet版本目前可免费使用,Opus版本则需开通会员。同时,Claude API已覆盖159个国家/地区,为用户提供广泛支持。
Claude3不仅在文本和知识检索方面有全面提升,更引入了多模态图像识别提问功能。根据评估报告,Claude3在数学与推理、可视化问答、ANLS等方面超越了GPT-4V。用户可上传图像提问,获得详细解答,展现了强大的多模态处理能力。
不仅如此,Claude3在PDF知识检索方面也表现出色,支持一次性上传多个PDF、txt、Csv格式的文档,并能总结核心内容、解读代码等功能。
Anthropic公司成立于2021年,总部位于美国加利福尼亚州旧金山,由来自OpenAI的ChatGPT开发团队核心成员创立。仅在2023年,Anthropic就获得了近70亿美元融资,其中包括20亿美元来自谷歌、40亿美元来自亚马逊,成为OpenAI最强竞争对手之一。
Anthropic的主打产品是基于Claude系列大模型的AI聊天助手claude.ai,通过文本问答方式可生成各种内容,广泛应用于法律、医疗、营销、人力资源等领域。多家知名企业已基于Anthropic模型开发了产品,包括资产管理公司Bridgewater Associates和旅游出版商Lonely Planet,实现了数据微调并成功打造了各类AI助手。
- 体验地址
在官网上,Suno AI的应用程序可以免费试用。
只要在框中输入提示,片刻之后,一段完全符合你要求的逼真、高保真的音乐片段就开始自动播放了。
- 功能特点
更好的音频质量;
更多样化的风格和流派;
更强的提示遵从性,包括更少的幻觉和更优雅的结局。
通过Suno V3,用户现在可以使用免费账户创建两分钟时长的完整歌曲,选择自己喜欢的流派进行音乐创作。
- 体验地址
2024年3月初,英伟达CEO黄仁勋回到母校美国斯坦福大学,进行了两次演讲,讲述了自己的经历和对 AI 的看法。这是演讲的中文翻译。
- 详细内容 AI技术缩小了技术差距: 黄仁勋提到,目前大约有1000万人因为知道如何编程而有工作,而其他80亿人则相对“落后”。他预测,随着生成式AI逐渐取代编程,编程技术可能变得不那么有价值。
AI算力的增长: 黄仁勋强调,在未来10年里,英伟达将把深度学习的计算能力提高100万倍,这将使AI计算机能够不断训练、推理、学习和应用,并持续改进。
液冷技术: 他认为液冷技术将成为AI算力的下一个趋势性领域,未来的计算机运算将高度依赖生成而非基于检索。
AGI的测试: 黄仁勋表示,如果AGI的定义是通过人类的测试,那么在五年内,我们将会通过所有的测试。
创办英伟达的经历 黄仁勋分享了他成为CEO之前的工作经历,包括在LSI Logic做工程师,以及如何说服硅谷投资者投资他的公司。
韧性的重要性: 黄仁勋认为,韧性在成功中非常重要,他建议计算机或工程专业的学生应该准备好面对挫折和痛苦。
https://finance.sina.cn/chanjing/gsxw/2024-03-11/detail-inamxtkr1619017.d.html
(完)