TL;DR: 大模型只看多选题的选项不看题干,也能以高于随机的比例答对问题,并且主要是以猜测题干的方式达成的。
https://fixupx.com/NishantBalepur/status/2056359665802322291?s=20
测试时推理模型是有策略的多项选择题答题者
https://arxiv.org/abs/2510.07761
大型语言模型(LLM)现在会在回答前给出推理过程,并在多项选择问答(MCQA)等任务上表现出色。然而,一个值得担忧的问题是,LLM 可能并不是按照预期方式来解答多项选择题的:已有研究发现,即使不给 LLM 推理过程,它们也能在不使用题干、只看选项的情况下成功完成 MCQA,也就是所谓的“仅选项”输入。这种基于部分输入取得成功的现象,通常会被归因于一些浅层、微不足道的捷径;但推理轨迹或许可以揭示,这些“仅选项”策略是否真的如此浅薄。
为考察这些策略,我们让具备推理能力的 LLM 分别在完整输入和“仅选项”输入下解答多项选择题。结果发现,测试时推理通常会提升完整输入下的准确率,并且在大约一半情况下,也会提升“仅选项”输入下的准确率。尽管这可能源于浅层捷径,但“仅选项”成功率几乎不受推理轨迹长度影响;并且在发现这些推理轨迹通过了忠实性测试之后,我们进一步表明,它们使用的是问题较少的策略,例如推断缺失的题干。
总的来说,我们质疑“基于部分输入的成功总是一种缺陷”这一说法。因此,我们提出:推理轨迹可以用来区分有问题的数据与相对不那么有问题的推理。
https://fixupx.com/NishantBalepur/status/2056359665802322291?s=20
测试时推理模型是有策略的多项选择题答题者
https://arxiv.org/abs/2510.07761
大型语言模型(LLM)现在会在回答前给出推理过程,并在多项选择问答(MCQA)等任务上表现出色。然而,一个值得担忧的问题是,LLM 可能并不是按照预期方式来解答多项选择题的:已有研究发现,即使不给 LLM 推理过程,它们也能在不使用题干、只看选项的情况下成功完成 MCQA,也就是所谓的“仅选项”输入。这种基于部分输入取得成功的现象,通常会被归因于一些浅层、微不足道的捷径;但推理轨迹或许可以揭示,这些“仅选项”策略是否真的如此浅薄。
为考察这些策略,我们让具备推理能力的 LLM 分别在完整输入和“仅选项”输入下解答多项选择题。结果发现,测试时推理通常会提升完整输入下的准确率,并且在大约一半情况下,也会提升“仅选项”输入下的准确率。尽管这可能源于浅层捷径,但“仅选项”成功率几乎不受推理轨迹长度影响;并且在发现这些推理轨迹通过了忠实性测试之后,我们进一步表明,它们使用的是问题较少的策略,例如推断缺失的题干。
总的来说,我们质疑“基于部分输入的成功总是一种缺陷”这一说法。因此,我们提出:推理轨迹可以用来区分有问题的数据与相对不那么有问题的推理。
🧵 Thread • FixupX
Nishant Balepur (@NishantBalepur)
🚨 New Paper! 🚨
One of my first Ph.D. papers found that LLMs can answer multiple-choice questions without seeing the question 🤔
At #ACL2026, I'm presenting a follow-up showing that current reasoning LLMs can still do this! And quite similarly to a clever…
One of my first Ph.D. papers found that LLMs can answer multiple-choice questions without seeing the question 🤔
At #ACL2026, I'm presenting a follow-up showing that current reasoning LLMs can still do this! And quite similarly to a clever…
- Mom can we have starlink?
- We already have starlink at home.
Starlink at home:
https://fixupx.com/vast/status/2056723864395337813?s=20
- We already have starlink at home.
Starlink at home:
https://fixupx.com/vast/status/2056723864395337813?s=20
FixupX
Vast (@vast)
Vast is expanding into high-power satellites. Introducing our new line of high-power satellite buses that leverage the technologies we’ve developed in-house for our Haven-1 space station and validated with the success of our Haven Demo mission. https://w…
Forwarded from Hacker News
Regex Chess: A 2-ply minimax chess engine in 84,688 regular expressions (❄️ Score: 151+ in 4 days)
Link: https://readhacker.news/s/6U7MF
Comments: https://readhacker.news/c/6U7MF
Link: https://readhacker.news/s/6U7MF
Comments: https://readhacker.news/c/6U7MF
Carlini
Regex Chess: A 2-ply minimax chess engine in 84,688 regular expressions
I wrote a (list of) regular expressions that will play a (not very good) chess game by running a 2-ply minimax search.
SpaceX Starship 第十二次发射将于北京时间 2026-05-22 06:30 (美中时间 2026-05-21 17:30) 2026-05-23 06:30 (美中时间 2026-05-22 17:30) 左右进行,窗口时长 90 分钟。本次将是第三代 Starship / Super Heavy 和第三代 Raptor 引擎的首飞。
https://fixupx.com/SpaceX/status/2056946171386462451
官网:https://www.spacex.com/launches/starship-flight-12
直播:https://x.com/i/broadcasts/1YxNrZwwomNxw Scrubbed
直播:https://x.com/i/broadcasts/1pKkOykQRgNKj
本次执飞的一级 B19 是第二枚完整的 Super Heavy V3,安装了 33 枚 Raptor 3 引擎。B19 有全新设计的燃料输送管道,全新的尾部热防护系统,全新的一体式热分级前燃料舱,和全新的更大的三个嵌入进燃料箱的栅格翼。B19 将不会尝试回收并在墨西哥湾溅落。
本次执飞的二级 S39 是第一艘 Starship V3,安装了 3 枚 Raptor 3 Sea-Level 和 三枚 Raptor 3 Vacuum,全新的姿态控制系统,和四个用于在轨燃料传输的对接口。S39 会尝试在亚轨道上部署 20 枚 Starlink 模拟器和两枚特殊改装过的带有姿态控制和摄像头 Starlink V3 。这两枚 Starlink 将会对 Starship 的隔热罩进行成像分析,来测试未来任务中返回发射场捕捉前需要的准备过程。因此几块隔热瓦已被涂成白色,以模拟掉落的瓷砖并作为测试中的成像目标。S39 还会尝试在太空中重新点燃一枚 Raptor 来模拟下次任务中需要用到的脱轨机动。在再入阶段,S39 会模拟未来任务中返回发射场的轨迹,并进行一项测试后襟翼结构极限的机动。S39 和部署的 22 枚载荷均将在印度洋溅落。
更详细的 V3 改动: https://www.spacex.com/updates/starship-v3
https://fixupx.com/SpaceX/status/2056946171386462451
官网:https://www.spacex.com/launches/starship-flight-12
直播:https://x.com/i/broadcasts/1pKkOykQRgNKj
本次执飞的一级 B19 是第二枚完整的 Super Heavy V3,安装了 33 枚 Raptor 3 引擎。B19 有全新设计的燃料输送管道,全新的尾部热防护系统,全新的一体式热分级前燃料舱,和全新的更大的三个嵌入进燃料箱的栅格翼。B19 将不会尝试回收并在墨西哥湾溅落。
本次执飞的二级 S39 是第一艘 Starship V3,安装了 3 枚 Raptor 3 Sea-Level 和 三枚 Raptor 3 Vacuum,全新的姿态控制系统,和四个用于在轨燃料传输的对接口。S39 会尝试在亚轨道上部署 20 枚 Starlink 模拟器和两枚特殊改装过的带有姿态控制和摄像头 Starlink V3 。这两枚 Starlink 将会对 Starship 的隔热罩进行成像分析,来测试未来任务中返回发射场捕捉前需要的准备过程。因此几块隔热瓦已被涂成白色,以模拟掉落的瓷砖并作为测试中的成像目标。S39 还会尝试在太空中重新点燃一枚 Raptor 来模拟下次任务中需要用到的脱轨机动。在再入阶段,S39 会模拟未来任务中返回发射场的轨迹,并进行一项测试后襟翼结构极限的机动。S39 和部署的 22 枚载荷均将在印度洋溅落。
更详细的 V3 改动: https://www.spacex.com/updates/starship-v3
FixupX
SpaceX (@SpaceX)
Starship stacked on the pad at Starbase
🥰1
𝕯issolution:
Windows is absolute trash ep 852 : when you configure Windows DHCP Server in french, it adds commas in the middle of error messages to the CSV log file, breaking the whole CSV :
https://twitter.com/Diss0lution/status/2057118485558235621
Windows is absolute trash ep 852 : when you configure Windows DHCP Server in french, it adds commas in the middle of error messages to the CSV log file, breaking the whole CSV :
https://twitter.com/Diss0lution/status/2057118485558235621
❤3
AW:
虽然不算很有关但是↓
https://twitter.com/AWwwwolf_815/status/2057047081555226852
虽然不算很有关但是↓
https://twitter.com/AWwwwolf_815/status/2057047081555226852
Mardayline Etherealist:
@AWwwwolf_815 凭借着超可爱的脸和一手绝佳的厨艺kgy成功俘获了iroha与红叶女士(草)
https://twitter.com/Voice56954333/status/2057046520919449858
🥰9❤1
Forwarded from Hacker News
Not alive, but not dead: disembodied human brains used for drug testing (Score: 151+ in 6 hours)
Link: https://readhacker.news/s/6Uy4i
Comments: https://readhacker.news/c/6Uy4i
Link: https://readhacker.news/s/6Uy4i
Comments: https://readhacker.news/c/6Uy4i
Science
Not alive, but not dead: disembodied human brains used for drug testing
By restoring some functions to intact brains from deceased donors, the startup Bexorg hopes to create a better drug development test bed for neurodegenerative diseases
&'a ::rynco::UntitledChannel
SpaceX Starship 第十二次发射将于北京时间 2026-05-22 06:30 (美中时间 2026-05-21 17:30) 2026-05-23 06:30 (美中时间 2026-05-22 17:30) 左右进行,窗口时长 90 分钟。本次将是第三代 Starship / Super Heavy 和第三代 Raptor 引擎的首飞。 https://fixupx.com/SpaceX/status/2056946171386462451 官网:https://www.spacex…
X (formerly Twitter)
SpaceX
Starship's Twelfth Flight Test
&'a ::rynco::UntitledChannel pinned «看星舰第 12 次发射直播: https://x.com/i/broadcasts/1YxNrZwwomNxw https://x.com/i/broadcasts/1pKkOykQRgNKj»
Forwarded from 厘米碎碎念
数码荔枝还是转发一下。
https://x.com/DIGITALYCHEE/status/2057302477612224679
一个我熟知的独立开发者,因长期熬夜工作,前几日猝死。
震惊与悲痛之余,这件事情再次给我们所有人警告:
1. 身体,是一次性的
前一秒看似正常运行,下一秒可能直接宕机
2. 钱,是赚不完的
时间很晚了,手上还有工作,只要世界不爆炸,那就明天做
3. 熬夜,但保证充足睡眠
你不能指望每天 3 点睡,第二天 8 点起床,却没有任何代价一样
https://x.com/DIGITALYCHEE/status/2057302477612224679
X (formerly Twitter)
数码荔枝 (@DIGITALYCHEE) on X
一个我熟知的独立开发者,因长期熬夜工作,前几日猝死。
震惊与悲痛之余,这件事情再次给我们所有人警告:
1. 身体,是一次性的
前一秒看似正常运行,下一秒可能直接宕机
2. 钱,是赚不完的
时间很晚了,手上还有工作,只要世界不爆炸,那就明天做
3. 熬夜,但保证充足睡眠
你不能指望每天 3
震惊与悲痛之余,这件事情再次给我们所有人警告:
1. 身体,是一次性的
前一秒看似正常运行,下一秒可能直接宕机
2. 钱,是赚不完的
时间很晚了,手上还有工作,只要世界不爆炸,那就明天做
3. 熬夜,但保证充足睡眠
你不能指望每天 3
&'a ::rynco::UntitledChannel
#TIL 游击园艺,指在没有法律授权的地方执行园艺行为 https://en.wikipedia.org/wiki/Guerrilla_gardening
#TIL 战术都市主义(Tactical Urbanism)是一种以低成本、临时性且可扩展的干预措施为特点的社区营造方法。它旨在通过小规模的行动来激发长期的城市变革,让市民绕开繁琐滞后的政府规划,自行发掘优化社区的潜力。
https://tacticalurbanismguide.com/about/
https://tacticalurbanismguide.com/about/
Tacticalurbanismguide
Tactical Urbanism
Tactical Urbanism is an approach to neighborhood building that uses short-term, low-cost, and scalable interventions and policies to catalyze long term change.