
美国人工智能(AI)芯片霸主辉达(Nvidia)主管表示,由于推理模型的芯片使用量增加,需求已「大爆发」,并且点出主权AI的需求与全球AI工厂的投资都日渐增加,目前全球正在打造100座AI工厂,包括台湾的大幅投资,挑战则包括供电限制和企业采用AI的速度。
辉达加速运算事业部门主管巴克(Ian Buck)4日参加美银证券全球科技研讨会时表示,由于推理模型的使用量增加,「推论需求已大爆发」,推理「增添了如此之多的价值」。推论是AI模型生成回答的过程。
DeepSeek、OpenAI、Anthropic及xAI等业者的最新AI模型,都具备推理功能,能针对用户搜索词进行多次思维运算(thought computation),更全面反思,以提供更高品质的回应。辉达主管已表示,推理消耗的运算资源比之前的AI模型多出100倍,驱动更多AI芯片的需求。
巴克在接受美银证券科技分析师艾尔亚(Vivek Arya)访问时,强调打造平台已孕育AI推论市场的创新,焦点仍是可拓展的AI工厂和训练集群,随着AI模型性能持续提升,有1000亿个参数的模型已是标准,目前正在使用上兆参数的模型,预料将会更常见。
他说,辉达的策略聚焦于为推论打造的AI工厂、以及大规模的训练集群,该公司的软件套现计划包括NeMoTron模型和Lepton等数据中心软件。
巴克被问到AI工厂的商机时表示,各国都加强投资AI,以应用于各自独特的产业和数据,例如台湾正在打造一座他认为会使用1万组Blackwell绘图处理器(GPU)的AI工厂,「这是为台湾产业打造,由台湾拥有」,日本也在运用自有数据建造AI工厂,目前全球正在打造并组装100座AI工厂。
他也说,辉达可能会在下周的巴黎GTC开发者大会(11-12日)、以及在柏林举行的国际超级运算大会(ISC,10-13日)上,提供更多关于AI工厂和主权AI等活动的消息。他也暗示,未来成长的挑战可能包括供电议题与企业采用AI的速度。