发布日期:2024-09-15
白交 发自 凹非寺2024在线配资论坛 量子位 | 公众号 QbitAI AI训练AI,可能会让AI变傻?! 来自牛津、剑桥等学校机构的研究人员最新发现,使用合成数据训练,大模型可能会崩溃。其研究成果被选为最新的ature封面。 直接一个:GARBAGE OUT! 要知道,现在绝大部分科技公司的大模型都在用合成数据来缓解“数据荒”。这下无疑是整个行业浇了一波冷水。 研究团队给了这样一个例子。 他们测试了Meta的OPT-125m模型,询问了关于中世纪建筑的相关信息。 每一次微调都是由上一次生成...