云从科金年会体育技欲募资36亿投大模型：“强者恒强”游戏里如何与巨头竞争？

　　ChatGPT的火热，让国内不少互联网、AI企业纷纷加码大模型。比如云从科技（SH688327，股价41.95元，市值310.71亿元）近期就拟募集36亿元投向“大模型”。

　　曾经的AI，是CV（计算机视觉）的天下。就国内而言，最受瞩目的AI公司当属“CV四小龙”商汤科技（HK00020，股价2.93港元，市值980.64亿港元）金年会体育、旷视科技、云从科技和依图科技。ChatGPT的横空出世，令AI产业的焦点迅速从视觉转为语言，从CV转为NLP（自然语言处理）。

　　在语言大模型时代，CV四小龙之一的云从科技又将何去何从？特别是大模型追求“强者恒强”，可能将是少数巨头的游戏。在算力“军备竞赛”中，云从科技能否跟上巨头的脚步？

　　金年会体育

　　互联网、移动互联网的兴盛，使得各行各业崛起了一大批细分领域的巨头。AI的兴起，同样在各细分领域百花齐放。比如CV（计算机视觉）领域的“四小龙”；语音领域的科大讯飞（SZ002230，股价59.18元，市值1374.80亿元）、思必驰。

　　而大模型时代，规则骤然改变。算力的“军备竞赛”，导致大模型成本高企，可能仅有少数巨头能够负担。

　　据国盛证券计算机团队测算，以英伟达A100芯片、DGX A100服务器、现阶段每日2500万访问量等假设为基础，估算得出：在初始算力投入上，为满足ChatGPT当前千万级用户的咨询量，投入成本约为8亿美元，对应约4000台服务器；在单日运行电费上，参考美国平均0.08美元/kwh工业电价，每日电费约为5万美元，成本相对高昂。

　　此次云从科技欲募集资金36.35亿元，用于云从“行业精灵”大模型研发项目。其中，场地购置及装修费5.54亿元，研发设备购置费20.94亿元，人力资源成本7.60亿元，其他费用2.27元。

　　算力投入应属于研发设备购置费。照此计算，云从科技欲投入不超过20.94亿元用于算力投入。

　　截至2022年三季度末，云从科技货币资金12.47亿元。2022年第三季度，上市公司营收6479.03万元，同比下降80.07%；归母净利润-2.64亿元。2022年前三季度，上市公司营收4.55亿元，同比下降41.53%；归母净利润-5.89亿元，经营性现金流净额-5.29亿元。

　　从云从科技财务数据看，初始投入之后的训练费用、运行电费对其也是较沉重的负担。据国盛计算机团队，基于参数数量和token数量估算金年会体育，GPT-3训练一次的成本约为140万美元；对于一些更大的LLM模型（如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM），采用同样的计算公式，可得出，训练成本介于200万美元至1200万美元之间。

　　据天风计算机团队，参考GPT-3的发展历程，OpenAI从45TB的文件中过滤出570GB的数据集，仅训练费用就高达1200万美金，随后OpenAI经过约3年时间不断探索，中途有InstructGPT、davinci不同版本的尝试，最终在2023年发布了GPT-4，打造一个有竞争力的大模型需要数据、算法等资源的持续投入。

　　那么，云从科技是否可以与巨头进行差异化竞争，做一个“小而美”的垂直行业领军者？

　　在信达证券看来，参数量超级庞大的模型在任何垂直领域都具备优势，垂直细分的小模型难有生产空间。因此，认为在大模型格局未完全形成之前，参数量的无上限堆砌是各家企业发力的焦点，故算力的“军备竞赛”无可避免。

　　据天风计算机团队统计，百度Ernie大模型参数量约为2600亿，京东言犀、商汤商量SenseChat参数量为千亿级别，腾讯混元AI大模型参数量为万亿级别。华为盘古α参数量为2000亿。

　　据云从科技公告，2020年，OpenAI发布的NLP大模型GPT-3，实现了千亿级数据参数，大模型也成为了超大规模预训练模型的代名词。2022年，ChatGPT的出现更进一步确定了大模型作为人工智能主流技术路线的趋势。

　　为何各家都在比拼参数量？认为，从论文研究来看，参数量的提升有助于构建语言预测模型的精确度，同时提高泛化能力。泛化能力的提升意味着一个参数量超级庞大的大模型，其在垂直细分领域的预测能力可超过针对垂直领域开发的中等参数量模型。

　　天风计算机团队也认为，拥有一个大模型并不难，但是持续打造一个有竞争力的大模型难度很大。虽然国内有众多厂商推出了大模型，但从终局的角度看，大模型终将收敛并稀缺。参考OpenAI在海外的发展历程，大模型需要连同生态一起进化，形成强者恒强的格局。

　　金年会体育

　　中航研究所认为，在ScalingLaw的框架下，只要追加数据与算力，大模型的能力就能持续增强。对OpenAI而言，目前大模型的最大限制是数据和算力的总量。

　　对于云从科技而言，购买模型训练用的高端芯片面临限制。即使资金充足，能否成功获取庞大算力所需芯片呢？《每日经济新闻》记者4月13日致电云从科技，其工作人员表示：“首先有一部分库存金年会体育，然后我们和国产芯片供应商之前也完成深度适配。”

　　该工作人员也表示，具体芯片问题公司在2月份投资者活动记录表有回复。记者查询后了解到，云从科技芯片的采购分两类。第一类：公司过去向采购部分芯片用以训练侧方面，公司具有一定量的库存储备且国产化的训练芯片水平也已经在快速提升中。第二类：过去两年中，公司在国产化硬件适配方面稳扎稳打，已与华为、寒武纪（SH688256，股价195元，市值782亿元）、曙光等提供芯片和服务器的厂商完成了深度适配。

　　值得一提的是，云从科技一度研发过AI芯片，如承担工信部“基于自研SoC芯片的高准确度人脸识别产业化应用”等国家级重大项目建设任务。

　　而根据云从科技招股书，其表示公司所处的行业尚处于发展初期，未来发展趋势存在较大不确定性，相关技术及各应用场景的定制化解决方案迭代速度快，技术的产品化和市场化亦具有一定的不确定性。2020年，由于芯片设计成果未达预期，且EDA软件和生产流片遭遇限制，公司终止了“SOC芯片研制及结合高准确度人脸识别技术的产业化应用”项目。