这里记录每周值得分享的AI科技内容,周末发布。

本杂志开源(GitHub: aitobox/newsweekly),欢迎提交 issue,投稿或推荐你的项目。

AI资讯

1. Andrej Karpathy 教你从零复现GPT-2,通宵运行即搞定

AI 大牛 Andrej Karpathy 又「上新」了,这次一口气放出了长达四个小时的视频。视频主题为「让我们来复现 GPT-2(1.24 亿参数)」。

详细内容

Karpathy 表示,此次视频之所以这么长,是因为它很全面:从空文件开始,最后得到一个 GPT-2(124M)模型。具体实现步骤包括如下:

  • 首先构建 GPT-2 网络。
  • 然后对其进行优化,以便快速训练。
  • 然后通过参考 GPT-2 和 GPT-3 论文来设置训练运行优化和超参数。
  • 然后进行模型评估。
  • 然后祈祷好运,并去睡觉。

第二天早上,查看结果并享受有趣的模型生成。通宵运行的结果甚至非常接近 GPT-3(124M)模型。

该视频以「Zero To Hero」系列视频为基础,有些地方参考了以往视频。你可以根据该视频构建 nanoGPT 存储库,到最后大约有 90% 相似。

当然,Karpathy 上传了相关的 GitHub 存储库build-nanogpt,包含了全部提交历史,这样你可以一步步看到视频中所有的代码变化。

视频地址

https://www.youtube.com/watch?v=l8pRSuU81PU

AI服务和工具

1. Say what you see -提示词学习游戏

谷歌艺术与文化网站提供了一个名为 “说出你所见” 的实验,旨在通过谷歌 AI 教会用户如何进行图像提示学习理解。

这个游戏非常简单轻松,学习效果却不差;它的原理就是用Google gemini 画一幅画,然后隐藏提示词,您可以一遍一遍猜可能的提示词,从而画出跟示例一样的效果图;

同时还可以查看社区里其他人是如何猜测提示词的,这个学习方法反馈效果好,趣味性强,值得一试;

体验地址

https://artsandculture.google.com/experiment/say-what-you-see/

2. devv-开发者的AI代码阅读助手

一个非常好用的开发者代码辅助阅读工具;可以直接导入Github Repo,与AI交互这个Repo的各种技术问题;目前仅限于Python Repo

Devv GitHub 模式 ✨ 简介

GitHub 模式使你能够直接连接到 GitHub 仓库并与它们聊天。

开发者可以直接通过Github Repo URL导入到Devv中,从而询问AI助手各种关于这个代码库的技术实现、设计架构等等问题;

体验地址

https://devv.ai/

(完)

you might also like