性能领先、开源普惠、国产易获取的三重势能,造就了年初DeepSeek的技术平权狂热,掀起AI普惠浪潮。
赵学亮 投稿量子位 | 公众号 QbitAI 大模型架构研究进展太快,数据却快要不够用了,其中问题数据又尤其缺乏。 为此,港大和蚂蚁的研究人员反向利用思维链,提出了PromptCoT方法,并基于Llama3.1-8B训练了一个问题生成模型。 实验结果表明,合成的问题难度较开源数据和已有算法有显著提升,接近了AIME水平。 研究团队利用问题生成模型构造了400k SFT数据。 基于这份数据,团队训练 ...
腾讯AI Lab 投稿量子位 | 公众号 QbitAI 只要微调模型生成的前8-32个词,就能让大模型推理能力达到和传统监督训练一样的水平? 腾讯AI ...