ahdw

@oldlamp 加钱即可满足速度和质量双全，直接上 512GB 统一内存的 Mac Studio ，哈哈

唉，世上安得三全法？

```
main: loading model
srv load_model: loading model '/path/to/TurboQuant/models/gemma-4-E4B-it-Q4_K_M.gguf'
common_init_result: fitting params to device memory, for bugs during this step try to reproduce them with -fit off, or provide --verbose logs if the bug only occurs with -fit on
llama_params_fit_impl: projected to use 11441 MiB of device memory vs. 14199 MiB of free device memory
llama_params_fit_impl: will leave 2757 >= 1024 MiB of free device memory, no changes needed
llama_params_fit: successfully fit params to free device memory
llama_params_fit: fitting params to free memory took 0.39 seconds
llama_model_load_from_file_impl: using device MTL0 (Apple M1 Pro) (unknown id) - 14199 MiB free

print_info: file format = GGUF V3 (latest)
print_info: file type = Q4_K - Medium
print_info: file size = 4.62 GiB (5.28 BPW)

load_tensors: CPU_Mapped model buffer size = 360.00 MiB
load_tensors: MTL0_Mapped model buffer size = 4731.51 MiB

llama_context: n_ctx_seq (49152) < n_ctx_train (131072) -- the full capacity of the model will not be utilized
ggml_metal_init: allocating
ggml_metal_init: found device: Apple M1 Pro
ggml_metal_init: picking default device: Apple M1 Pro
ggml_metal_init: use fusion = true
ggml_metal_init: use concurrency = true
ggml_metal_init: use graph optimize = true
llama_context: CPU output buffer size = 1.00 MiB
llama_kv_cache_iswa: creating non-SWA KV cache, size = 49152 cells
llama_kv_cache: MTL0 KV buffer size = 306.00 MiB
llama_kv_cache: size = 306.00 MiB ( 49152 cells, 4 layers, 1/1 seqs), K (q8_0): 204.00 MiB, V (turbo4): 102.00 MiB
llama_kv_cache: upstream attention rotation disabled (TurboQuant uses kernel-level WHT)
```

@oldlamp

Qwen3.5 非常啰嗦，思考就要占大量 context ，我看这篇文章里面才设置了 4K 上下文，一个洗车问题，或者棍子过门问题就能烧光这点预算，根本等不到吐出回答的时候。
14 tokens/s 其实有点儿慢。你能接受一个问题连想带回答要 5 分钟起步吗？

我也在调这个，用的机器也不求行，是一台闲置的 16GB M1 Pro MBP ，权重用的 Q4_K_M ，KV Cache 也用了 TurboQuant+，能开到 48K 上下文，15-18 tokens/s 。喜欢它的质量，但不太能接受这个速度。

要速度就要换成 Gemma-4-E4B ，同样的量化版本，能跑到 22-25 tokens/s ，速度可以接受了，但是质量差一点

@iango no no no, 强烈推荐 TurboQuant+，8K 上下文 context 占用仅 152 MB

llama_memory_breakdown_print: | memory breakdown [MiB] | total free self model context compute unaccounted |
llama_memory_breakdown_print: | - MTL0 (Apple M1 Pro) | 13000 = 2666 + (10332 = 9075 + 152 + 1104) + 0 |
llama_memory_breakdown_print: | - Host | 1062 = 1030 + 0 + 32 |
ggml_metal_free: deallocating

链接：
https://github.com/TheTom/turboquant_plus/blob/main/README.md

Qwen3.5-9B-Q8_0.GGUF, 8K context RAM 还有剩！

现在当 headless server ，用 SSH 连进去用，GUI cost 降低了，Context Window 还能再调高一点

引流，我写过这个话题：

[Blog Post]( https://ahdw.casacam.net/2025/09/22/%e4%b8%ba%e4%bb%80%e4%b9%88%e7%8e%b0%e5%9c%a8%e7%9a%84%e5%b9%b4%e8%bd%bb%e4%ba%ba%e4%b8%8d%e8%a7%89%e5%be%97%e6%96%ad%e5%ad%90%e7%bb%9d%e5%ad%99%e5%be%88%e5%8f%af%e6%80%95%ef%bc%9f/)

酒馆、小手机 是什么东西

我改一个前端 UI 的 Bug ，怎么觉得 Opus-4.6 Thinking 比 Codex 更能定位到 root cause ？ Cursor 里面的 5.4 High 改了两轮搞不定，Codex 来回换，搞了好几轮，还是改不好，Opus 一轮（但是很慢，Thinking 很久）就定位到根因了，修复也是一次就好

书也很好看，我对整个故事的想象是基于书的，今天看了电影，感觉影视化和我的视觉想象比较吻合，所以我认为电影还原得很好。

电饭煲内胆属于有涂层的锅，貌似不能进洗碗机？
之前听说铁锅、铝锅、含铜的餐具、涂层锅不能进洗碗机，我不信邪，把铝制摩卡壶扔进去洗过一次……出来直接废了。然后就不敢不信了。炒菜的铁锅和电饭煲内胆还有平底不粘锅，都没放进去过。
不锈钢和玻璃器皿用洗碗机真是绝配！