麦享科技9月29日消息,今天下午DeepSeek突然发布了DeepSeek v3.2-Exp大模型,这是前几天发布DeepSeek v3.1终结版之后的又一大动作,很符合重大节日前DeepSeek发新模型的习惯。
DeepSeek v3.2的亮点很多,但是大家不必关注于这个模型能力有多好,从她exp的后缀就可以看出它本质上是DeepSeek探索新技术用的,这方面才有价值。
DeepSeek Sparse Attention(DSA)首次实现了细粒度稀疏注意力机制,在几乎不影响模型输出效果的前提下,实现了长文本训练和推理效率的大幅提升。
DeepSeek v3.2还是小版本进步,大家最关心的还是DeepSeek重大版本升级,也就是传闻了很久的DeepSeek v4及r2,尤其是v4这种基座大模型。
推上一个名为DeepSeek News Commentary的账号表示v4将于10月发布,带来100万上下文、GRPO驱动推理及NSA/SPCT等技术,数学、编程能力大幅提升,同时速度极快,成本也极低。
这个账号的属地也是杭州,但目前来看并非DeepSeek官方账号,消息真实性值得商榷。
不过10月份发布DeepSeek v4也不是完全没可能,毕竟DeepSeek v3.2是技术验证方向的,是在为DeepSeek v4重大技术升级探路。
还有一点需要注意,DeepSeek v4早在四五月份就说要发布,但官方一直不为所动,期间还被传出什么训练失败之类的负面消息,只是这些传闻不足为信,无非是抹黑国产大模型及算力不及美国罢了。
DeepSeek v4发布应该是需要一个重要契机,那就是与国产算力芯片全面适配,这一点DeepSeek官方之前已经明确了,下一代将支持FP8算法,与国产芯片全面适配。
现在已经不少国产AI芯片宣布支持FP8算法了,但是这方面的适配显然需要一个领头羊,那就是华为昇腾,联系一下前几天的大约上华为高调宣布昇腾路线图,明年Q1时候的昇腾950PR不仅支持FP4,还支持FP4,算力达到1PFLOPS(FP8)/ 2PFLOPS(FP4),支持FP32/HF32/FP16/BF16/FP8/MXFP8 /HiF8/MXFP4/HiF4等数据格式,互联带宽为2TB/s,内存容量和带宽做到了144GB、4TB/s。
显然昇腾950PR上市的时候,DeepSeek V4才是最佳的登场时刻,此前也早有消息称DeepSeek已经使用国产AI芯片训练,v3.2就同时支持CUDA和华为的CANN,v4自然也不会落下。
后续DeepSeek v4肯定还会有其他国产AI芯片的适配版的,包括寒武纪、海光等。