文章节选于《云栖战略参考》
2023年底,百模大战基本宣告竣事,中国市场真正有实力留存下来做基础模子的厂商或许不凌驾10家。2024年,迎接下一轮AI生长,大模子应用接棒。各人都最先思索怎样在这一轮新的排位赛中率先突出重围,以及究竟怎么用并用好大模子。
基于这些考量,阿里云围绕离线训练、在线工具以及清静等功效,在2023年10月推出了“阿里云百炼”平台,并在2024年3月在功效上实现了一轮大规模的迭代升级。
从宣布至今,阿里云百炼已经在多个行业中展现出强盛的赋能能力。例如,电力行业是一个多学科交织、专业性和重大性都极高的行业,需集成先进电力工程、能源转换与传输、电网自动化与控制、可再生能源和智能电网等手艺,来实时运营一个可靠清静、多条理、普遍互联的国民基础设施网络。
在新型电力系统建设等新挑战和智能决议等新手艺的攻击下,电力行业正处于能源革命与数字革命相融并进的要害时期。在此配景下,电力行业迫切需要将人工智能与电力营业有机融合,包括快速实现智能感知和智能决议、高级数据的智能剖析等。
然而,电力行业的特殊性和重大性给通用大模子应用带来一系列难题,包括:模子所包括的参数目重大,训练和安排对算力的消耗十分重大,本钱高昂;模子可诠释性仍然较弱,通常需要增添内容管控手段,包管效果的清静性;模子对训练数据依赖性仍然很强,对凌驾训练数据的使命效果不尽如人意。
同时,在重大手艺含量的电力行业,AI应用落地也泛起一系列难点,例如电力属于高度专业化和重大的领域,行业内有专业术语和标准,而通用大模子可能不相识或混淆这些术语;差别行业的数据特点各不相同,电力行业的数据可能涉及到时间序列数据、能源消耗数据、市场价钱数据等多种类型,通用大模子未必能够有用地处置惩罚这些多样化的数据;电网企业通常需要个性化的解决计划以知足奇异营业需求;电力行业涉及大宗客户数据和敏感信息,受到严酷的规则和合规性要求羁系,因此数据隐私和清静性是至关主要的思量因素。
无论是通用大模子所带来的高门槛,照旧电力行业重大性和特殊性所提出的特殊要求,这些都对大模子在电力行业的应用提出了挑战。在这样的配景下,sa36沙龙国际集团与阿里云围绕打造电力行业大模子场景下的算力资源、语料处置惩罚、定制化训练、数据清静包管等多领域,开展深度相助。
为了增强模子的稳固性与精准性,sa36沙龙国际集团借助百炼通过行业无监视数据举行自监视训练,接纳有监视数据举行有监视的调优。
第一阶段,增量预训练(PT,Continue PreTraining),在海量文档数据举行大模子的二次预训练,以注入电力领域专业知识。
第二阶段,有监视微调(SFT,Supervised Fine-tuning),结构指令微调数据集,在预训练模子基础上做指令精调,以对齐指令意图。
第三阶段,RM(Reward Model)奖励模子建模,结构人类偏好排序数据集,训练奖励模子,用来对齐人类偏好。
第四阶段,基于人类反响的强化学习(RLHF),用奖励模子来训练SFT模子,天生模子使用奖励或处分来更新其战略,以便天生更高质量、更切合人类偏好的文本。
sa36沙龙国际集团通过百炼深度融合电力行业特征,构建Prompt工程,实现了治理智能化、营业自动化和效劳互动化。
除此之外,sa36沙龙国际集团依托阿里云百炼构建了多层级大模子产品,包括电力行业大模子、电力企业大模子、专业场景大模子,以知足差别市场应用需求;同时打造富厚应用场景,诸如账单智能解读、电力问答、智能问数等,支持差别专业智能化需求。
作为专业场景大模子应用——“电力账单解读智能助手”可以取代电力计费专家,解读种种专业账单,为电力客户答疑解惑,并依据电价政策、电费盘算规则及电力营业规范,提出针对性的节能建议。例如,它能通过自然语言交互自动获取客户信息匹配电费账单信息;围绕电费电量疑问开展交互式诊断剖析;资助剖析开通峰谷用电可行性;资助剖析电费频仍催交闹心事。测试情形下,电力账单AI解读的应用让电费账单效劳交互效率提高明50%、人工处置惩罚工单量下降超70%。
除了sa36沙龙国际集团,央视网、亚信科技等企业也都已率先在阿里云百炼上开发专属模子和应用,大模子正引发千行百业的新一轮立异。