抡锤者

@Brian 请问你的模型下载的是哪一个，有链接吗？
我是下载了这个模型：https://huggingface.co/Qwen/Qwen3.6-27B-FP8/tree/main

也不知道跟你们下的一不一样，在llama.cpp中，但会话的速度也能达到40token/s

秋叶整合包，在哪里下载，网上一堆叫作秋叶的，不知道哪个是真的呀。

还有是刘悦厉害，还是秋月厉害，他们有什么区别？

AMD R9700 32G 运行Qwen3.6，是跑27G稠密模型 还是跑量化模型，需要保证256K上下文和token/s速度不要太慢

我是想部署在Ubuntu系统上，是部署ROCm还是Vulkan？

推理框架如何选择：llama.cpp/llm/SG-Lang

这个有没有不同软件的部署教程呀？只能一步一步问ai找到这个部署流程吗？有没有人整理过这个部署过程的呢？

还有就是论坛的搜索功能，好像残疾了，搜索结果只能搜出几条数据，很难找到自己想要的，需要翻遍很多帖子才好

我草，7月1号，刚下的单
第二块R9700，看来要多花点钱买了

@GH-Y 好的，谢谢；我总算了解了一番，买了X99洋垃圾，够用了

@terry 好像明白了一些事情了，PCIE只要单卡运行就无所谓PCIE5,还是PCIE4,只有多卡时候，需要通过PCIE数据交换时候，才会受制于PCIE4的传输

好吧，那我先试试单卡吧，跑起来再说

你这个配置价格是一手的，还是二手的硬件价格呀

@GH-Y 说:

看球看的好无聊，逛论坛竟然看到和自己想法一样的，一起进坑的兄弟了，我也想玩A卡，岁数大了，看锤子大神的视频，确实不想折腾魔改卡。我已经买了一张r9700,今天到，也想上两张卡，明天去装机，这是我的主机配置，先搞一张玩一下。以后还要多跟论坛各位大神多学习交流。

有没有购买链接，我也去那家店问下

@Vincent-Chen 说:

我也很喜歡看Terry介紹硬件。
看了又看，看完再看。
因為以前開始購買硬件的確行了很多冤枉路。
所以我覺得這個話題看不厭的。
正如Terry所說
建議買intxx的....本地部署低b數的模型的....
我就是中伏用筆記本開始跑...
之後又中伏用普通內存跑235b。
其實，我看到有一些油管的視頻。會用四條ddr5,但其實四條ddr幾乎不可能全速運行的，大部分家用主機板會降頻去到3600。
這些都要中過伏才知道
Terry 會否考慮一下
出一集按預算挑選設備（整机）
10000,20000,40000.....
不過可能會很辛苦
但應該很好看。

@Vincent-Chen 说:

我也很喜歡看Terry介紹硬件。
看了又看，看完再看。
因為以前開始購買硬件的確行了很多冤枉路。
所以我覺得這個話題看不厭的。
正如Terry所說
建議買intxx的....本地部署低b數的模型的....
我就是中伏用筆記本開始跑...
之後又中伏用普通內存跑235b。
其實，我看到有一些油管的視頻。會用四條ddr5,但其實四條ddr幾乎不可能全速運行的，大部分家用主機板會降頻去到3600。
這些都要中過伏才知道
Terry 會否考慮一下
出一集按預算挑選設備（整机）
10000,20000,40000.....
不過可能會很辛苦
但應該很好看。

@Vincent-Chen 说:

我也很喜歡看Terry介紹硬件。
看了又看，看完再看。
因為以前開始購買硬件的確行了很多冤枉路。
所以我覺得這個話題看不厭的。
正如Terry所說
建議買intxx的....本地部署低b數的模型的....
我就是中伏用筆記本開始跑...
之後又中伏用普通內存跑235b。
其實，我看到有一些油管的視頻。會用四條ddr5,但其實四條ddr幾乎不可能全速運行的，大部分家用主機板會降頻去到3600。
這些都要中過伏才知道
Terry 會否考慮一下
出一集按預算挑選設備（整机）
10000,20000,40000.....
不過可能會很辛苦
但應該很好看。

为了购买主机，我也YouTube视频看了好几遍，资料查了又查，也没完全懂(十窍通了 九窍)，就怕买来了，结果不能很好的跑在自己的硬件上。主要还是钱包扁

@terry 说:

@wml-ai 可以考虑找机会再水下，水的太多了不好。

也不算水啊，对于小白来说，简直是福音。
不清楚PCIE4/PCIE5,还有显卡的pcie插槽，要买相应的主板(不匹配会有什么影响)，双卡TP，硬件怎么选购
等等...

哪个群？Telegram群吗？

@terry 说:

@ken-chan 它跑大模型，上下文足够，你去看下MTP的优化，体验会好很多，跑ComfyUI 32G也足够出720P短视频了，960*544能爽玩。完全够了。TP 64G显存，你还是只能跑27B模型，也不会快到哪里去。

可以再帮我看下这个配置可以吗？就是贵了点，但是看到主板说，只有一个是PCIE5,另一个是pcie4的，要是安装两个R9700,有一个显卡的性能是不是会下降呢？

能不能出一期，硬件选配的youtube节目呀：amd、Intel主板怎么选、内存、硬盘，还有哪些品牌可以选，给电脑主机diy小白的建议

@terry 说:

我的领域表现不出什么，估计是说点对点协议，传输效率之类的，我暂时用不到，我两张卡是分开工作的。估计还是TP的效率问题。建议你上PCIE 4的，EPYC套餐，大搞3000多板U。

哦，刚刚了解到，R9700显卡是PCIE5的，使用PCIE4,是不是会降频的意思？好多主板都是只有一根PCIE5,另一个是pcie4的。

@terry 说:

@ken-chan 它跑大模型，上下文足够，你去看下MTP的优化，体验会好很多，跑ComfyUI 32G也足够出720P短视频了，960*544能爽玩。完全够了。TP 64G显存，你还是只能跑27B模型，也不会快到哪里去。

使用这个R9700,如果使用比较新的板u，cpu使用Intel还是amd呢？显卡是amd的，cpu要用amd的吗？好像听说amd的显卡兼容性不好，但是性能更强

@terry 说:

@ken-chan 它跑大模型，上下文足够，你去看下MTP的优化，体验会好很多，跑ComfyUI 32G也足够出720P短视频了，960*544能爽玩。完全够了。TP 64G显存，你还是只能跑27B模型，也不会快到哪里去。

哦，那还得是单卡大显存，才玩得爽
--- 贫穷，让我无视了它