发现机器训练解决方法几乎没有什么优势

人工智能的未来在我们生活的几乎所有方面(从医学到教育、工业到金融)都具有巨大的前景。但它确实是有代价的。OpenAI首席执行官SamAltman表示，为了训练GPT-4，OpenAI必须花费1亿美元。

据Accubis博客称，尽管一些聊天机器人是免费提供的，但寻求创建聊天机器人服务的小型企业将支付约4,000美元。根据AI公司Figure8的说法，为机器学习创建数据集每项任务的成本高达100美元。此外，斯坦福大学的一项研究发现，为机器学习仅标记单个图像数据集的成本为每张图像3.50美元。所需云计算平台的租金最高可达每小时5美元。

因此，节约是潜在用户关心的问题。

伦敦大学学院和爱丁堡大学的研究人员设计了一个测量系统，该系统可以比较标准机器学习方法和公司视为节省成本措施的替代方法的结果。他们发现替代机器训练方法只能产生最小的结果。

他们对类效率模型的几种变体进行了研究。

伦敦大学学院的论文合著者奥斯卡 基(OscarKey)表示： 在大多数情况下，这些方法通常更加复杂，需要更多的实施工作，在我们的实验中并没有真正带来显着的改进。 报告的内容。

该团队研究的三个类别是：

批量选择，涉及处理数据位组而不是单个组件。一个简单的例子是在大量数码照片的文件名中附加一个单词，以更清楚地识别它们。与逐个更改名称相比，即时重命名它们的批处理操作更快，而且最终更便宜。

层堆叠，采用多层神经网络单元，同时顺序处理数据。它允许模型学习复杂的语言模式和关系。例如，模型使用堆栈来识别语言输入中的语法、语义和情感，并可以实时相应地调整输出。风格、语气和声音会根据各个神经网络层的提示进行修改。

高效优化器，顾名思义，是一种旨在加速搜索功能、最大限度地减少浪费操作、加速学习过程并理想地获得更好解决方案的算法。研究人员使用了相对较新的Sophia优化器，据说它的速度是更常用、最先进的Adam优化器的两倍。

尽管成功地跳过不相关的数据、忽略不太相关的数据并优化有用和相关的数据，但这些方法导致输出较差。

报告称，层堆叠是唯一带来 训练和验证 收益的过程，尽管收益很小。但训练时间越长，这种收益就会 消失 。

换句话说，机器学习的优化可能会使用更少的计算能力、更便宜的成本，但结果较差，只能通过额外的训练和成本来改善。

该报告的另一位作者JeanKaddour表示： 训练模型以获得合理的性能通常非常昂贵。