14：05-14：50—《Build an Al system： Applying Reinforcement learning withhuman feedback (RLHF) on LLM to advance customization构建一个人工智能系统：在LLM上应用带有人类反馈的强化学习(RLHF)来推进定制》

AI前沿技术论坛分享：基础模型与多模态预训练进展

导读

　　《工程化打造AI中的CPU》讲述了基础大模型在AI中的重要性，包括提供计算能力、对产业发展的影响，以及决定后续模型的能力和合规性。Aquila天鹰语言模型系列旨在打造中英文双语能力的大模型，并采用循环迭代的生产流水线。FlagEval作为评测体系，提供能力-任务-指标三维评测，辅助模型训练。构建迭代基础大模型的持续生产线是一个周期性发展的路线图，通过不断创新和迭代满足产业需求。

　　《构建一个AI系统:在LLM上应用带有RLHF来推进定制》讲述了LM（大型语言模型）在提高生产力和理解特定领域的语言和知识方面的价值。使用强化学习与人类反馈（RLHF）对LLM进行训练至关重要，未来涉及将其能力从文本生成扩展到行动自动化。

　　《多模态预训练的进展回顾与展望》讲述了自监督学习得到大规模发展，但多数模型仍限于单模态。未来需要更多的数据集、更高效的模型结构、更好的自监督策略，以及更多创新下游应用。多模态大模型能实现不同模态之间的知识共享和协同，有助于构建通用人工智能。

　　《扩展大型语言模型:从幂律到稀疏性》讲述了LLM扩展使用MoE技术，通过分布、正则化和扩展来适应新数据分布。T5通过将所有NLP任务定义为文本到文本转换的方式，达到统一框架且简单高效。MoE通过引入专家并采用高级技术如非均匀架构、终身学习等，成功实现LLM的规模扩展与性能提高。

备注

　　以上内容仅为个人解读与总结，欢迎大家留言建议与指正。

官网地址

　　2023 北京智源大会：https://2023-live.baai.ac.cn/2023/live/?room_id=27171

核心要点分享

• 基础大模型的工程化与评测：通过循环迭代生产流水线打造中英文双语能力的大模型，FlagEval提供三维评测体系辅助模型训练。
• 构建实时AI系统：使用RLHF对LLM进行训练，实现文本生成到行动自动化的扩展。
• 多模态预训练的进展：自监督学习在大模型中的应用，以及多模态数据的重要性。
• 扩展大型语言模型：通过MoE技术实现LLM的规模扩展与性能提高，采用非均匀架构和终身学习等高级技术。

分享嘉宾及背景

• 刘胤烩：Birch.ai核心创始人及CTO，分享内容包括LLMs的价值、构建实时AI系统、RLHF的应用及LLMs的未来。
• T5作者之一，谷歌研究科学家：分享内容包括摩尔定律和幂律、T5的统一文本到文本转换器、使用MoE扩展LLM及先进的MoE技术。

未来展望

• 多模态预训练：探索更多数据集、更高效模型结构和自监督学习策略，推动语音、语言、视觉等多领域协同发展。
• 大模型的原理与应用：研究大模型的原理、能力来源及拓展应用，赋能科学研究及各行各业。
• 治理大模型：确保大模型的发展安全可信可控，防止其做出危害人类、破坏社会发展的事情。

结论

　　未来AGI（人工通用智能）必然是与人类智能相仿，高效协同的多模态智能。从多模态信息中学习知识，实现不同模态之间的知识迁移、相互补全、相互验证。充分利用现有语言大模型的认知推理能力，构建通用、安全、可信的多模态大模型。上下游任务与所有可能的技术路线之间将进行各种形式的排列组合拼插，多模态应用创新层出不穷。