Ich baue, breche und deploye AI-Systeme.

Refusal-Verhalten aus einem multimodalen 30,7B-Modell entfernen, ohne ein deploybares Format-Set zu verlieren.

Weight-Level-Abliteration angewendet und dieselbe Modelllinie als BF16, ModelOpt-NVFP4 und GGUF-K-Quant-Ladder veröffentlicht. Für multimodales NVFP4-Serving blieben Vision Tower, Embedder und lm_head in BF16.

BF16-Evaluation: 0/686 effektive Refusals über vier Datensätze. Der 20-GB-NVFP4-Build, reduziert von 59 GB, wurde in vLLM und SGLang validiert. GGUF: 12–31 GB mit 0–1/100 Hard Refusals über die Quantisierungsstufen.

Einen 34,7B-Qwen3.5-MoE-Reasoning-Checkpoint auf eine einzelne Blackwell-Workstation bringen, ohne jedes Subsystem zu quantisieren.

Routed Experts mit NVIDIA ModelOpt auf NVFP4 quantisiert; Attention-QKV, Shared Experts und Vision Encoder blieben in höherer Präzision.

Rund 23 GB statt 69 GB BF16; Laden und Generieren mit vLLM auf einer RTX PRO 6000 Blackwell validiert.

Refusal-Verhalten in einem multimodalen 428B-MoE untersuchen und dabei Reasoning- und Routing-Struktur erhalten.

Attention-o_proj und alle residual-writing down_proj über sämtliche 60 Layer modifiziert; veröffentlicht als 796 GB BF16 in 59 Shards.

0/16 Hard Refusals im veröffentlichten Sample; multimodales Verhalten, Reasoning und MoE-Routing wurden smoke-getestet, nicht vollständig benchmarked.