AI晶元的「冷」与「热」

借AI硬体峰会的机会，我和业界朋友聊了很多AI晶元相关的话题。总的感觉，AI晶元经过几年比较热的发展，现在似乎进入一个相对平静的阶段。不过，与其说是AI晶元「遇冷」，可能说产业更加「冷静」更合适。同时，AI晶元的热潮在这两年对于相关的产业链也产生很多积极的影响，把「热度」传导到了其它一些领域。

本文很多内容是闲聊的结果，如果引用了哪位朋友的话而没有说明还请见谅。

「冷」

参加过去年矽谷的AI Hardware Summit的朋友，普遍反映这次在北京的会议没有那么火了。这当然有很多原因，比如大环境下大家比较低调。即使只看AI晶元，进入19年之后，新鲜的话题明显少了。一位朋友是这么跟我说的，他在去年峰会之后就把关注的重心转到了5G，最近转回到AI晶元，好像也没错过什么。我想了想，似乎确实如此。从去年Habana发布晶元以来，今年只有Tesla发布FSD晶元（多角度解析Tesla FSD自动驾驶晶元）引起了广泛关注。一方面，我们看到的实质性进展（不管是指标上还是商业上）不多；另一方面，PR看的太多了之后，大家也更冷静了。

经过这两年的摸爬滚打，早期进场的AI晶元玩家，比如寒武纪，地平线，Graphcore，百度，Habana等等，基本已经有了第一代晶元，开始积极投入商用的尝试。而这个「落地」的过程，比晶元研发本身更具挑战，既是对第一代架构设计的试金石，又需要庞大的软体开发和客户支持的力量。虽然这些公司都在快速扩充这些力量，但客观上看商用的步伐并没有预期的那么快。同时，在下一代晶元的定义和设计上，大家似乎也冷静了很多。

从这次峰会的多个演讲可以看出，在积累了几年的经验之后，大家开始更深入的思考AI晶元架构和生态的问题。对有的问题大家给出了不同的答案，比如「AI晶元应该更专用还是更通用？」，在很多讲演者强调专用硬体的效率的同时，百度昆仑晶元的架构师欧阳剑就结合他们的研发经验指出通用性会越来越重要。除了不同的思考，很多讲演者不约而同的强调了软硬体联合优化的重要性，这也反映了大家已经逐渐从能够先保证功能的粗放设计过度到提高竞争力和差异性的精耕细作了。

软硬体联合优化，也是我写公众号以来探讨的一个核心问题，这里多说几句。其实这个词说起来简单，看著也很美，但实际操作还是非常困难的。先说一个非技术的挑战，软硬体思维方式的差异。这次峰会上，地平线的余凯博士在panel讨论上提到了一个管理上的难题就是软硬体工程师的思维方式的差异，很有意思。而在具体设计中要实现软硬体联合优化，最好是有同时具备软硬体知识和经验的工程师操刀，或者至少要求软硬体工程师能够理解对方在说什么，想什么。这往往需要一个相互培训和磨合的过程。即便如此，在一个团队中还有「话语权」的问题。而在AI晶元领域，不同团队中演算法，软体和硬体的话语权分配是各不相同的。演算法和软体强的公司，可能倾向于轻硬体（硬体架构和功能简单），而大部分优化在演算法和软体层面完成。而硬体强的公司和传统IC公司类似，硬体架构和设计往往是中心，软体团队是围绕这个中心工作的。话语权对设计的影响不一定是坏事，比如Google的软体能力很强，TPU可以用一个相对简单的架构，既能快速实现又可充分发挥。但如果话语权在trade-off中产生畸形的影响，就很难找到一个比较合理的平衡点。相对而言，初创公司（团队）往往没有历史包袱，内部团队间交流成本比较低，在这方面有一点优势。

当然，软硬体联合优化的技术挑战也很大。简单来说，就是把软体和硬体优化放在一起考虑，会出现探索空间爆炸的问题。好消息是目前AI晶元加速的运算是比较有限的，这会很大程度上缩小探索的空间。另外就是我们可以通过一些自动化的方法来加速这个过程，或者解放工程师的劳动。这也是我和我的团队正在努力的方向，欢迎大家和我交流。还是那句话，有挑战的地方也意味著机会。个人感觉未来AI晶元的一个主要创新点也在这个地方。

我们再回到峰会的讨论上，另一个大家比较一致的看法是Compiler对于整个生态的重要性。这个问题我后面可能会专门讨论一下，大家也可以看看我之前的文章（Deep Learning的IR「之争」）。

总得来说，我更愿意把这段时间看作AI晶元「蓄力」的阶段，AI晶元公司能更加冷静和理性的思考自己发展；投资人和群众能够更冷静和理性的分辨什么是PR，什么是干货。（这里面应该也有我的一点点贡献吧。）。