第3章 这不是现成的需求吗?

【现在的GPU运算是偏向于量化分析的,如果能够引入“模拟质性思考”,让机器学习更接近于人类获取知识的方式和手段,而非是大力飞砖堆积算力?】

【关键位决策?自我否定替代外部反馈?簇式模型卷积网络?……】

一个个想法如泉涌般冒了出来,无论有用没用,都被纪弘飞速的记录了下来——这都是不可多得的灵感。

【簇式模型卷积网络,用微参数模型决策簇作为神经网络模型的簇式节点,可以让簇式节点本身具有“类质性思考”能力……】

纪弘不断的思考着,整个方案在基本完整的基础上不断完善,星星点点的模块在他的大脑里迅速形成了千丝万缕的一张大网,如漫天星辰迅速交织,直至牢不可破。

“如果按照这样来搞,模型不会很大,但是会很强。”

纪弘一边点头一边感慨:“类思考式的模型,这是一种微模型,而且训练的模式和理念也全都变了,更加接近人类幼童牙牙学语时的状态。

“因此,训练所需要的数据量大幅减少,“质性思考”在训练中所占的地位会越来越大,所需算力会越来越小。

“如果把这种微模型跟大模型再结合在一起呢?搞到极致那会是一个怎样的效果?相当于人的智力再加上人工智能的数据规模?啊这……”

纪弘思维越想越发散,甚至有一点儿止不住的趋势,他没有刻意停止,不管可不可行,记录下来回头试试总是没有什么错的。

发散性的思维停下的时候已经好两个小时过去了,纪弘也记录下了非常多不知道有用没用的资料。

“验证一下吧。”思路很清晰,纪弘也是决定找个样板先验证验证,样板都是现成的,正是之前的《我的赛博女友生气了》。

大模型就用万舸平台提供的文心大模型接口,而类思考微模型是需要他自己搞定的部分。

微模型理念复杂,但规模确实较小,算力需求并不高。

但是,现有的硬件确实存在不太兼容的问题,不管是图形卡还是推理卡训练卡,其本质都是运算核心GPU,都是不太满足需求的。

“现在去搞硬件不现实,还是模拟一下吧,”纪弘脑筋转了转:“性能损失确实不小,但不是完全不能用,现在只能暂时凑合。”

纪弘捣鼓了好几个小时,都接近凌晨了才终于把所需要的环境搭建好、训练材料配置。