英伟达一套一站式解决方案 —— RTX Workstation

shafikul49 · 发表于 2023-8-9 10:42:48

英伟达还准备了一套一站式解决方案 —— RTX Workstation。
支持最多 4 张 RTX 6000 Ada GPU，
可以在 15 小时内完成 8.6 亿 token 的 **3-40B 的微调。

英伟达炒作合作伙伴联想，戴尔，HP的四卡工作站。。

========
---

===

cnsyk · 发表于 2023-8-9 10:47:50

显存还是小啊。3~40B的模型，，，不够看，好歹能支持65B 70B的啊。

这不是摆明了让大家4卡80G的走起么。

ytmxkj · 发表于 2023-8-9 10:49:26

柯基一直在chh找大颗粒显存，可惜都没有收获

所以没办法。

下一代512bit，个人感觉就是因为更多的是显存容量问题才上的

wuyou008 · 发表于 2023-8-9 10:54:47

说白了，就是GDDR6X短时间内搞不出单颗4Gb
下一代GDDR7看来也悬，不然NV不会上512bit。

cnsyk · 发表于 2023-8-9 10:58:02

大模型现在的特性其实是内存墙更严重。
一方面是容量，另一方面是速度，下一代都HBM3e走起了。

架构再怎么稀疏化优化，这块还是带宽问题严重

cnsyk · 发表于 2023-8-9 11:07:26

GDDR7已经宣布了3GB单个

时光匆匆 · 发表于 2023-8-9 11:15:38

但是多卡nvlink不是能叠加显存吗？所以单卡显存那么重要吗

j15023105c · 发表于 2023-8-9 11:20:08

都叫rtx ws了，主要还是来搞3d内容创作的。llm只是顺带的性能。

账号		自动登录	找回密码
密码			立即注册