新框架以本地差分隐私融合多LLM实现认知诊断
研究提出联邦推理框架,允许LLM API在无需原始学生数据或模型内部信息的情况下协作,实现隐私保护与准确性的平衡。
AI解读:这项研究针对AI教育系统中隐私保护与认知诊断准确性难以兼顾的问题,提出了一种联邦推理框架。其核心在于让多个商业大语言模型(如GPT-4o-mini、Claude-3-Haiku)在本地对各自预测添加Laplace噪声(实现ε-本地差分隐私),再通过残差聚合机制融合结果。这样既能利用多模型的能力,又无需共享原始学生数据或模型参数。对开发者或教育平台而言,这意味着可以在不暴露敏感信息的前提下,借助更强大的模型组合进行诊断;但该方案基于“诚实但好奇”的信任假设,即API提供商不会滥用查询,且医疗或教育场景的私有部署仍需谨慎评估这一假设。
一项发表于arXiv的研究(编号2609.02947)提出了一种联邦推理框架,让多个商业大语言模型(LLM)API协作完成认知诊断,同时不接触原始学生数据或专有模型内部信息。
该框架采用异构多LLM架构,整合了LLaMA-3.3-70B、GPT-4o-mini和Claude-3-Haiku等不同模型,以ε-本地差分隐私方式在本地对每个模型的预测添加Laplace噪声,再通过基于残差的聚合方法减轻模型异构性影响。
隐私与信任假设
研究基于“诚实但好奇”的信任范式,假设API提供商不会滥用提交的查询。差分隐私机制用于保护最终发布的诊断结果,防止外部推断。
实验部分进行了严格的隐私效用分析,显示在准确性损失最小的情况下提供较强的隐私保障,并在三个教育基准上进行了真实世界评估,验证了框架的实用性和跨领域泛化能力。