万参数比肩万亿巨兽！微软等联手破解推理密码

万参数比肩万亿巨兽！微软等联手破解推理密码

新智元报道编辑：桃子乔杨【新智元导读】来自微软、MIT等机构的学者提出了一种创新的训练范式，攻破了大模型的推理缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果只有67M参数的微型Transformer竟能媲美GPT-4的推理能力。「因果推理」绝对是当前GenAI热潮下的小众领域，但是它有一个大佬级的坚定支持者——YannLeCun。他在推特上的日常操作之一，就是炮轰Sora等生成模型，并为自己坚信的因果推理领域摇旗呐喊。甚至，早在2019年VentureBeat的采访中，他就表达过这一观点：我们需要在深度...