Geo创始人Yaniv Tal向加密新闻表示,AI答案不可靠往往始于模型接收的材料,他认为互联网的设计初衷是分发信息,而非保留信息的权威性、来源和可追溯性。“AI没有真相问题,互联网才有。”Tal说。
Tal指出,在线信息存在四个弱点,导致AI答案不可靠:来源丢失、权威扁平化、隐藏分歧以及重复的模型生成错误。信息在网站间被抓取和转载时,关键背景不断丢失。一个声明可能经过多个页面后才进入训练集,模型只留下句子,却无法追溯原始出处。同时,研究论文、公司公告和匿名论坛帖子进入同一数据管道后,模型可能将不同证据标准的内容视为同等权重。
“来源坍缩了。一条声明被爬取、改写、再爬取,直到原始出处不可恢复。”Tal说。
分歧被压缩,错误被放大
语言模型常将竞争立场合并成一个回答,掩盖了专家之间的真实争议,给用户一个自信的答案却不显示存在可信的替代观点。第四个弱点在于AI生成内容回流到后续模型的训练数据,错误在重复发表中存活,合成文章、帖子和摘要使人类原始材料更难定位。
“模型越来越多地训练于其他模型的输出,错误不会消失,而是会被放大。”Tal表示。2024年《自然》研究描述了“模型崩溃”过程,系统逐渐丢失原始数据分布信息,罕见内容在早期阶段消失,后续模型输出与源数据差异巨大。研究强调,在AI生成内容扩散时,获取原始人类信息至关重要。
Tal不认为这四个弱点仅是模型设计缺陷,模型复现了训练材料中已有的问题,包括来源缺失以及证据、观点和推广之间缺乏可见区分。
Geo的方案:分离声明与来源,保留竞争观点
Geo提议将陈述与作者及其支持证据分开,记录条目间的关系,显示一个论点是支持、反对还是直接回应争议点。系统可依据评估强度对论点排序,同时保留竞争材料,使分歧可见但不变成混乱的评论流。“多元不意味着噪音,”Tal说,“几个结构良好的竞争视角往往是更诚实的答案。”
Geo通过名为Spaces的独立社区组织信息,目前涵盖加密、健康、AI、教育、国际事务和美国政治。成员可贡献内容并参与讨论,有相关知识者可申请编辑。该模型源自Geo Genesis,其治理结构将参与者分为编辑和成员,基于Aragon OSx框架。The Graph联合创始人Tal表示,专业知识不会由单一中心化权威分配,贡献者通过工作积累声誉,并可在不同Spaces间流转。
“人类判断力现在才是稀缺输入,而非冗余。机器生成的内容超过人们能处理的量,而几乎没有人对其真实性负责。”Tal说。
社区治理的挑战与加密场景
人工运行的知识网络仍需判断贡献者是否真实、合格且独立。开放治理系统可能遭遇女巫攻击,即一个参与者创建多个身份以影响投票或奖惩。Tal表示Geo将依靠贡献记录和特定领域社区,避免匿名材料与有公开历史的声明享有同等地位。编辑通过各Spaces申请,成员参与管理自己关注的议题。“没有金融利益下的风险承担,会改变人们愿意署名内容的质量。”
在加密安全领域,人工参与也受关注。Ledger安全报告将手动验证和清晰交易显示视为防AI辅助钓鱼、假界面和自动诈骗的保障。加密成为Geo首批Spaces之一,因为区块链活动可直接测试可验证记录与人类解释的区别。Tal说:“链上数据天然可验证。交易发生与否不可改变,但围绕它的一切都是声明。”项目公告、合作描述、市场预测和代币变动解释需要单独对待,并附上署名贡献者和历史记录,包括错误预测。促销活动使这种区分在数字资产市场尤为重要。
美国指南强调来源与人工审查
美国国家标准与技术研究院(NIST)的生成式AI概况建议记录训练数据来源,监控生成材料来源,并评估来源系统与人工审查员之间的反馈,同时呼吁领域专家和相关社区参与评估。内容来源标准(C2PA)使用加密签名的内容凭据记录数字材料归属与编辑历史,但验证来源并不代表声明真实,该标准仅确保断言与资产连接、格式正确且未被篡改。
原创文章,作者:资讯,如若转载,请注明出处:https://www.218btc.com/4387/