qdwang

qdwang

V2EX 第 40309 号会员,加入于 2013-06-07 17:44:48 +08:00
根据 qdwang 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
qdwang 最近回复了
1 天前
回复了 qdwang 创建的主题 分享发现 浅试了一下 Qwen3.6-35B-A3B,很强
@Hermitist 快是因为 mlx 量化里,有些关键权重被砍成低量化了,会速度快但是质量差。你测试 gguf 也会发现,同样 4bit 里,iq4_xs 会比 q4_k_m 快很多。
1 天前
回复了 qdwang 创建的主题 分享发现 浅试了一下 Qwen3.6-35B-A3B,很强
@Hermitist mac 不要用 mlx ,mlx 一方面量化模型拉垮,另一方面速度也不快,第三方面内存占用还高,第四方面整个包体积太大。

gguf 系强太多,少折腾直接上 llama.cpp ,手动下载 gguf 模型
2 天前
回复了 qdwang 创建的主题 分享发现 浅试了一下 Qwen3.6-35B-A3B,很强
@MLawliet 跑的 iq4_xs 量化,运算时刚刚好吃满 23g 内存,不会写 swap ,128k 上下文。

做了 100k 上下文里乱序随机位置插 26 个关联计算题测试,能做对。
2 天前
回复了 qdwang 创建的主题 分享发现 浅试了一下 Qwen3.6-35B-A3B,很强
@hanguofu m4pro 24g 内存
3 月 17 日
回复了 MagicCoder 创建的主题 Apple M5 pro 真快啊...
快是正常的,苹果现在是硬件第一梯队,我 m4 pro 纯 CPU 跑 qwen3.5 35B Q4 量化,都可以跑到 40t/s ,GPU 跑 52t/s

要是苹果的软件也像硬件一样靠谱就好了
2 月 22 日
回复了 qdwang 创建的主题 问与答 我们究竟还要等多久,才有家务机器人
@me007 你说的在理,目前来看,还是人的成本低
2 月 21 日
回复了 qdwang 创建的主题 问与答 我们究竟还要等多久,才有家务机器人
@trn4 错了,GPT 出来之前,机器学习语言也是一件事一件事学习,GPT 出来之后直接泛化解决所有的语言问题了
2 月 19 日
回复了 qdwang 创建的主题 问与答 我们究竟还要等多久,才有家务机器人
@trn4 必须要人形的兄弟,人形才有比较强的泛化能力。要么就是究极纳米形态随时变换的那种
2 月 19 日
回复了 qdwang 创建的主题 问与答 我们究竟还要等多久,才有家务机器人
@fcten 老哥分析的很客观,希望 10 年内快点有突破
2 月 18 日
回复了 qdwang 创建的主题 问与答 我们究竟还要等多久,才有家务机器人
@azureaz Kara 已经超出我的需求了,她还能上街自己坐车。我只求能在家里完成家务。
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2852 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 08:56 · PVG 16:56 · LAX 01:56 · JFK 04:56
♥ Do have faith in what you're doing.