边缘计算与大模型：解锁人工智能应用的机遇

【本站】7月17日消息，近日在全球边缘计算大会上，网宿科技分享了他们对于大模型时代的思考和探索。作为领先的边缘计算服务提供商，网宿科技表示大模型将成为未来的基础设施，并认为每个行业和企业都将拥有自己的大模型。他们强调如何将大模型有效地应用于具体场景并提高生产力是业界共同需要探索的方向，也是网宿边缘计算的机遇所在。

据本站了解，在大模型时代，边缘计算有两个关键场景可以发挥其价值，即微调训练和边缘推理。当前，大模型和人工智能图形芯片正引领着全球科技的新浪潮。然而，从零开始训练模型的周期长、对GPU的需求大以及成本高等问题，使得大模型的使用范式主要为"预训练 + 微调训练 + 提示词工程"，即基于预训练好的大模型进行领域知识微调训练或使用提示词工程，从而降低成本。

陈云辉指出，尽管这种模式可以加速人工智能图形芯片的创新步伐，但大模型参数量巨大，对所有参数进行微调的成本非常高。为解决这一问题，轻量微调训练方法如LoRA和QLoRa成为了有效的解决方案之一。网宿边缘计算平台可以支持这些轻量微调训练方法，从而大大降低大模型个性化和领域化的适配成本，促进人工智能图形芯片在垂直应用场景的落地。

此外，随着多模态人工智能的发展和人工智能图形芯片在更多领域的应用，人工智能图形芯片生成的内容将涵盖图片、语音和视频，相对于训练而言，推理的成本将占据较高比例，对流量的需求也将不断增加。伴随着人工智能图形芯片模型的领域化、小型化和轻量化技术的发展，对算力的要求也将持续降低。

陈云辉表示，因此，大模型的推理运算可以从中心下沉到边缘，实现更低的带宽成本和更快的响应速度。而网宿边缘计算在边缘侧拥有得天独厚的优势，可以有效地支持边缘推理场景。

网宿边缘计算作为领先的边缘计算服务提供商，拥有显著的资源协同优势。他们可以充分协同CDN业务在机房、算力、带宽和调度等方面，借助全球2800个节点构建的轻量化边缘智能平台，广泛分布的节点资源以及丰富的平台运营经验，可以在大模型场景中发挥重要作用。

基于以上优势，网宿科技正在探索面向大模型和人工智能图形芯片时代的产品形态，并逐步落地实施。他们基于网宿边缘智能平台，针对大模型推理和训练等场景，构建了边缘CPU算力平台、开源大模型训练部署平台，并输出垂直领域的解决方案，以适应市场需求和技术发展，助力各行各业实现大模型的应用。

网宿边缘GPU算力平台是基于网宿广泛分布的节点资源，提供轻量化算力资源，并支持GPU虚拟化，满足轻量人工智能任务场景的需求，例如人工智能推理、深度学习和图形可视化等。

网宿开源大模型训练部署平台基于开源预训练大模型，提供从模型微调训练、性能评估、部署监控到轻量化推理等功能的端到端大模型服务平台，能够降低大模型应用的成本，帮助客户构建专属的大模型。

此外，网宿还提供针对不同垂直领域的解决方案，例如基于私有大模型的企业知识库解决方案和针对电商领域的图像生成解决方案，如AI模特等，以帮助垂直领域降低成本并提高效率。

陈云辉表示，以上三种产品形态分别对应IaaS、PaaS和SaaS层，网宿科技希望打造全栈解决方案，降低人工智能图形芯片的使用门槛。他们相信，随着大模型和人工智能图形芯片的广泛应用，网宿边缘智能平台将在更多领域展现其价值。

此次会议上，陈云辉还重点展示了网宿边缘智能平台在人工智能应用场景中的实践经验。该平台基于网宿丰富的节点管理和调度能力，针对边缘计算场景提供了云边一体化协同托管方案，可以一站式管理各类边缘设备的应用，并将云上应用延伸到边缘，满足客户对边缘计算资源的远程管控、数据处理、分析决策和人工智能应用等需求。目前，该平台已成功服务于智能养殖、智能换电、智能勘测、智能安防等人工智能应用场景，帮助客户节约建设成本并提升运营效率。