在过去的一年里，我们几乎在DeepSeek后几乎都没有再聊过AI。一方面是因为再也没有出现像DeepSeek那样的历史时刻，另一方面，随着豆包和Nano Banana的爆红，LLM应用成为了一个新的强劲用户增长点，可以说，从抖音的AI分身聊天框再到淘宝的AI万能搜，现在的LLM几乎走进了每个人的现实生活。

潜藏在这背后的，是LLM的范式在o1后几乎再也未曾改变过，AGI随着时间和LLM应用的大规模发展，逐渐成为了伪命题。

LLM App的爆发是恐怖的，过去一年，整个行业的Token消耗量几乎翻了几十上百倍，专门提供LLM Serving的云厂商和AI Infra如雨后春笋般冒出来，大有2021年左右随着Spark和Databrick，Snowflake的上市带来的流处理数据库创业潮之势。

随着年中Databrick和Oracle股价的暴涨，再到现在内存条和存储的价格飙升，我们终于不得不后知后觉的意识到，本次LLM Boom的第一枪，终究还是打响在了AI Infra这个赛道上。

本期【漫谈AGI】，阿P与P特与您共同聊一聊在AGI成为伪命题的当下，LLM应用流量的爆发将如何改写AI Infra生态。

《半球观察》，与您相约～

【本期您将听到】

PART 1: LLM应用的流量爆发影响到了消费端硬件与开源生态

02:18 半导体与芯片不足愈发严重，甚至影响到了消费端

05:45 MinIO停止维护，Infra的战火烧到了开源生态

PART 2: to C端LLM应用的需求重塑了传统Infra架构

07:29 大模型LLM App爆发时代，为什么对象存储（Object Storage）会成为数据的一等公民？TiDB X的发布与Lakehouse架构

12:49 为什么模型生成范式影响了整个Infra生态端？大模型应用带来了写密集负载与数据形式多样性的双重挑战。

22:16 随着模型智能的提升，RAG已经被消灭了

29:16 虽然AGI成为了伪命题，但模型基础能力的提升使LLM App走进了人们的日常生活，重塑了人们的互联网体验

PART 3: to B/G 端LLM Infra的范式转变：私域化与基于Token的Infra策略

30:47 AI Infra在私域化部署端的需求：MoE架构下，KTransformers使CPU+内存来代替单一显卡推理成为可能36:18 传统的Training和Inference的AI Infra依旧火爆，但已经趋于成熟：投机采样，训练优化，大模型量化，CuTile

41:08 AI Infra与传统Infra的区别：本质同样是降本增效，但LLM App相比互联网App，单用户Infra成本变得不可忽视

出场人物：阿P，P特

剪辑：P特

文本：P特

欢迎添加两位主播的微信号 philgroup、Peter-Banqiu或者小🍠搜索“半球观察”加入听友群与我们互动～