基于英特尔®至强®处理器，宝德AIGC解决方案加速释放AI动能
当前，生成式AI和大模型正以燎原之势走进制造、金融、医疗、交通、教育等行业和领域，引发行业更多创新和变革，加速全社会数字化和智能化转型。近日，工信部赛迪研究院发布报告显示，2023年我国生成式人工智能市场规模有望突破10万亿元。作为中国领先的计算产品方案提供商和AI服务器市场TOP3，宝德计算凭借丰富的市场经验和对客户AI需求的深刻洞察，携手英特尔AI软硬件基础技术，匠心打磨和推出了宝德生成式AI解决方案。
一键部署，灵活定制
宝德AIGC解决方案是软硬一体化解决方案，既可以集群部署也可以单机部署，方案架构包含硬件层、平台层、服务层和应用层。在硬件层，宝德充分发挥了20年服务器行业技术积累，提供涵盖AI训练服务器、AI推理服务器和AI边缘产品等多平台选择和可兼容，进行模型的高速训练、微调和高效推理。在硬件基础上，方案采用K8S进行集群资源管理（单机部署采用Docker）。基于雄厚的硬件层和平台层，在服务层部署了ChatGLM大模型推理服务、由GLM微调而来的行业大模型-宝德酒业大模型推理服务、宝德自研的嵌入数据仓库服务，可以将行业数据转换成向量数据，存储到向量数据库中，通过相似度匹配算法查询出相关内容交给大语言模型进行推理、LLM Functions服务，主要让大语言模型拥有调用后端接口的能力。基于这些硬件和服务，宝德开发了诸如聊德宝、AI客服和数字人等多种AI应用，可广泛服务于行业大模型、智能语音助手、网络直播、线上教育和培训等领域。
值得一提的是，宝德深耕行业多年，基于对市场的理解和对客户生成式AI多样性的计算需求，可提供生成式AI解决方案的定制化服务。
性能卓越、成本可控
AIGC快速发展之时，算力越来越紧缺和成本越来越高，逐渐成为影响AIGC发展和落地应用的“绊脚石”。并且，从大模型的发展和应用看，AI推理的规模远高于训练，有效降低推理成本成为宝德的思路。对此，宝德技术团队经过反复测试和调优，精心准备了全部采用英特尔全新的至强处理器（Max系列）平台，以及Intel GPU的AIGC解决方案，使其集强大的AI计算、推理性能和卓越的经济效益于一体，以充分释放AI动能。
第四代英特尔®至强®可扩展处理器MAX系列CPU在大语言模型（LLM）推理方面有独特优势。它有32至56个内核，可提供最高112线程，内置英特尔高级矩阵扩展（AMX）的AI加速功能，可帮助诸如图像识别、对象探测等任务中的张量处理获得多倍效率提升，并可用于INT8、BF16等不同数据格式，性能高达上一代10倍。而且所有MAX处理器都内置了64GB的HBM2e 高带宽内存，分为4个16GB的集群，总内存带宽为1 TB / s，能够解决大模型工作负载经常受到内存带宽限制的窘境，数倍提升推理性能。并且，其价格极具竞争力。
宝德在基于此CPU和Intel Flex GPU的自研服务器PR2715E上开发部署了LLM方案-聊德宝，它拥有调用私域数据的能力，让AI应用更加智能化、个性化地为用户提供服务，目前已经应用于宝德服务器AI客服、金沙古酒AI客服、金沙古酒直播数字人等产品。聊德宝具有快速迁移、便捷部署、多路并发的显着优势；最重要的是，该方案价格同比其它常规方案最高节约超过50%！
更妙的是，近日宝德服务器全面升级到第五代英特尔®至强®平台，第五代英特尔®至强®处理器除了具有更可靠的性能和更出色的能效外，它的AI性能大幅度提升，每个内核都具备 AI 加速功能，无需添加独立加速器，就可处理要求严苛的 AI 工作负载，包括对参数量多达 200 亿的模型进行推理和调优。 因此宝德AIGC解决方案将进一步测试适配升级到第五代英特尔®至强®平台，为客户部署AI应用提供更具性价比的优选方案。
大模型和AIGC正在日新月异地蓬勃发展，加速应用场景落地和引领产业变革势不可挡。宝德将继续携手英特尔，发挥AI优势，联合创新研发和应用，不断迭代优化生成式AI解决方案，为数据中心等客户打造高效便利和更加普惠的AI基础设施，加速释放AI动能，更好地服务中国数字经济高质量发展！
以上图片来源爱云资讯
延伸阅读：