家庭基准：评估大语言模型预测家庭经济行为的能力

大型语言模型（LLMs）有潜力实现经济学的一个关键目标：在各种情境下建立家庭决策的定量模型。然而，现有的评估涵盖的调研和结果很少，且并未研究家庭如何适应不断变化的经济条件。我们引入了一个新的评估框架 HouseholdBench，它整合了 6 项美国家庭调研和 32 项预测任务，涵盖数值、分类和概率结果，涉及消费、收入、劳动、预期和住房。

利用过往行为、人口统计特征和宏观经济条件，这些任务测试了 LLMs 是否能预测行为，包括家庭如何调整以应对各种政策的变化。我们将 13 个专有模型和开放权重模型与基准不变模型和梯度提升树模型进行了对比评估。

大多数 LLMs 均优于基准不变模型，包括在政策响应任务上——表现最佳的模型将数值结果的误差降低了 12.2%。在大多数任务中，梯度提升树排名第一；领先的专有 LLMs 接近其性能，但开放权重模型则落后。

LLMs 在不同任务中表现出系统的过度预测和预测不足。我们识别出了一种方法，使一个 40 亿参数的开放权重模型能够匹配专有模型的性能：微调并对每个观测值聚合 16 次预测。改进效果推广到了政策响应任务上，而这些任务并未包含在微调中。我们在网站上发布了我们的数据集、代码和排行榜。