IT之家12月13日消息，据TechCrunch12日报道，哈佛大学与谷歌宣布，联合发布100万本公共领域书籍作为AI训练数据集。
AI训练所需的数据成本高昂，但却更适合资金充裕的科技公司。因此，哈佛大学计划发布一个包含约100万本公共领域书籍的数据集，这些书籍覆盖多种类型、语言和作者，包括已不再受版权保护的经典作家如狄更斯、但丁和莎士比亚等，因这些作品的版权已随时间过期。
虽然这个新数据集尚未公开，也不清楚具体的发布方式和时间，但它来源于谷歌的长期项目——谷歌图书（GoogleBooks）。因此，谷歌将参与这次“宝贵财富”的广泛发布。
据IT之家了解，早在今年3月，哈佛大学就曾透露其“机构数据计划（IDI）”，并表示这一计划旨在为AI提供“合法数据的可信通道”。直到正式启动后，该计划才确认得到了微软和OpenAI的资金支持。
IDI的执行董事格雷格・莱佩特（GregLeppert）表示，该数据集的目标是“让竞争环境更加公平”，通过向包括研究机构和AI初创公司在内的各类机构开放这一庞大的数据集，以帮助他们训练大型语言模型。
