整理 | 屠敏出品 | CSDN(ID:CSDNnews)今天,前 OpenAI 联合创始人、Eureka Labs 创始人 Andrej Karpathy(安德烈·卡帕西)带来了一个全新的开源项目——nanochat。用他自己的话说,这是他写过的最 ...
访问显示的 URL(比如 Lambda 上是 http://209.20.xxx.xxx:8000/),就能像使用 ChatGPT 一样与你的模型聊天。
需要注意的是,由于目前对强化学习(RL)的支持还不太完善,在计算总耗时时把它排除了。到监督微调(SFT)阶段为止,整个过程运行了3小时51分钟, 总成本为(3+51/60)×24=92.4美元 (如果加上强化学习,现在总时间会更接近5小时)。
整体成本只需约100美元 (在8×H100上训练4小时),就能训练复刻出一个可进行基础对话、创作故事诗歌、回答简单问题的简易版ChatGPT模型。 举个具体的例子:一个深度为30的模型训练24小时后(相当于GPT-3 Small ...