目送着两个年轻人离开,乔源便打开电脑开始继续处理工作。
成为教授之后工作突然就变得繁重起来。
好消息是他不用再去给英才班上习题课了。
坏消息则是他得给研究生正式上课了。
不过他现在看的并不是上课的教案,而是有为集团给他发的正式函件,又是求合作的意向函。
有为集团的意思是,由有为集团出钱和人,乔源这边出技术跟专利,双方合作成立一家科技初创公司。
主要研究和运营方向就是合作设计新一代的AI芯片。
目标也很明确。
要知道现在AI芯片早已经开始发力,已经不再是英伟达一家独大的格局。
尤其是一些比较特殊的架构,已经开始展现出了在AI领域极为特别的能力。
比如Chip as Model,也就是芯片即模型的架构。
简单来说就是这种芯片在设计之初,直接将大模型嵌入到硬件之中。
将大模型那数十甚至上百亿的参数,直接蚀刻进芯片的金属互联层。这就将模型权重通过硬件的形式直接写在硅片之上,成为了芯片物理电路的一部分。
于是这种芯片在数据中心使用时,能直接从物理层面消除计算与存储之间的数据搬运瓶颈,直接绕过高带宽内存和那些复杂的I/O接口。
对于客户来说可以直接订制自己需要的大模型芯片。
优势自然是很明显的,首先是推理速度的大幅度提升。大模型直接嵌入芯片,还不用调用内存,推理速度自然直接飙升。
目前来说,由加拿大初创公司推出的相关芯片,推理速度能够达到约1.7万tokens每秒,这是英伟达最先进AI芯片的48倍。
而且还不止是推理速度的高速提升,其功耗还只有250W,只有英伟达GPU方案的十分之一。硬件成本更是低到二十分之一。
当然这种方案也不全是优点,同样也有着极大的缺陷。
最重要的就是缺乏通用计算能力。而且将大模型写入硬件,意味着针对不同的大模型需要设计不同的芯片,大模型想要升级就需要订购新的芯片。
这也是这种芯片虽然对比英伟达优势极大,但并没有能抢占英伟达全部市场的原因。
完全牺牲了通用性,就只适合单一模型部署的场景。再加上大模型想要更新就得更换GPU,这太过麻烦。
但现在乔
(本章节未完结,点击下一页翻页继续阅读)