最近和硅谷投资人聊 1）transformer大模型投资已终结，就是几个大厂+openAI此起彼伏竞争 2）基于非transformer的值得看看 3）Nvidia面临挑战，ASIC推理芯片会起来 4）Sora对视频公司有冲击，但sd和midjourey文生图公司还好 5）on device AI是热点 6）AI大模型行业应用和相关工具链在爆发，比如在游戏领域和开发工具领域，他现在一周投一个项目，但都贵得没法和以前比
@自默数日：翻译一下，1、cloud 端LLM是大厂的战场，目前进入军备竞赛阶段，其他人玩不起了。2、edge端llm有望快速发展，会带动终端推理芯片发展。3、多模态或图像、视频模型（Diffusion model变体）还有进步空间。4、基于llm的各种应用快速成长
非transformer的比如有 MIT出来的Liquid AI提出的Liquid Structural State-Space Models
做一些猜测 针对第五点，这个投资应该是比较小额的，对比较早期的公司，这些公司的产品应该是解决一个行业工具链（workflow）中的具体问题。典型的就是MJ到runway中多了一个magnific，a16z也有写文章阐述。 感觉还是在和巨头做死亡竞赛。字节推出coze，就秒杀了很多中国GPTs赛道的创业者，但是速度正好是Dify推出一年后左右。对于行业具体工作流，中国巨头会有半年到一年左右的滞后。在中国获客成本高，付费习惯难以打造 美国公司这个速度可能更慢。因为他们产品迭代速度没那么快，流量端也能通过推特直接获客，而且公司早期还有被收购的机会。
@csdncto 基于transformer框架的模型会越来越多，因为生态非常成熟，从硬件加速到模型训练到应用开发。除非出现一个更加符合scaling law的模型框架，能够将数据压缩更加紧致高效。任何信仰大模型圣经the bitter lesson的人都应该知道，加入太多人为小聪明都是一种停滞不前的表现
@csdncto NV是面临一些挑战，像华为、AMD等公司也研发出了高性能芯片，但迄今为止NV借助10余年的CUDA生态保持着优势。不过现在模型框架都基于transformer架构，这个也利好新的ASIC公司，能够进行针对性优化，出现了像groq这样子的大模型产品。AI生态开始由混沌走向统一。
@csdncto on device AI 在2016年就开始有一波，后续主要场景是人脸识别。希望这波有所不同。另外，最大的on device AI是特斯拉汽车和机器人。
@csdncto 国内投资看好替代transformer？但是单纯替换不能改变什么。如果有投资人确实看好，欢迎看主页私聊
@csdncto “transformer大模型投资已终结，就是几个大厂+openAI此起彼伏竞争 。”，不是投资结束了，是动辄20万块GPU，全世界的玩家屈指可数
@csdncto 看了老黄最新的对话，就知道推理芯片不存在的，推理比训练更难，训练打不过Nvidia ，推理更打不过
@csdncto 硬件中，电池续航和芯片估计还会遇到产能爬坡问题。同时，苹果那个vision现在一点水花都没有了