在EA-HAS-Bench和语言增强的收缩中,寻找节能NAS

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 开发节能NAS (EA-NAS) 方法对于可持续的AI至关重要.
• 现有的基准缺乏EA-NAS研究的可复制性和可访问性.
• 将LLMs集成到AutoML中显示出希望,但往往忽视了能源效率.

研究的目的:

• 引入EA-HAS-Bench,这是EA-NAS研究的第一个大规模基准.
• 开发和评估在NAS中优化模型性能和能源消耗之间的权衡方法.
• 适应基于LLM的方法,以实现高能效的超参数优化.

主要方法:

• 推出了EA-HAS-Bench,具有大型的联合搜索空间和一个新的贝齐尔曲线替代模型.
• 开发了语言增强收缩搜索 (LESS),这是一个插即用方法,利用LLM提高能源效率.
• 调整现有的AutoML算法,以创建能源意识的基线.

主要成果:

• 在EA-NAS研究中,EA-HAS-Bench提高了可重现性和可访问性.
• LESS和修改后的AutoML方法在能源消耗和模型性能之间实现了更好的平衡.
• 提出的代孕模型有效地预测了学习曲线.

结论:

• 欧洲航空航天局 (EA-HAS-Bench) 为推进欧洲航空航天局研究提供了一个至关重要的资源.
• LESS提供了一种有效的策略来提高AutoML的能源效率.
• 该研究表明,在实现节能AI模型开发方面取得了重大进展.