The Alignment Problem

评论

Christian 检查了机器学习系统经过训练要完成的任务与它们预期服务的人类目的之间的差距。通过研究人员面对这些问题的工作，本书将技术设计与偏见、行为和责任问题联系起来。它使一致性变得切实可行，而不是让它成为一个遥远的哲学问题。

对于企业领导者来说，最富有成效的问题是所选择的目标是否代表真正的任务。例如，如果流程变得更难以质疑或特殊情况受到较少关注，则更快的索赔处理作为目标是不完整的。有用的评估会考虑谁受益、谁承担风险以及系统不确定时会发生什么。

假设一个说明性索赔工作流程因快速结案而获得奖励。它可能会通过将疑难案件转移到其他地方或阻止问题来改善其总体指标。问题不仅仅是一个弱模型；而是一个问题。这是成功的不完整定义。实际的教训是测试目标与其所代表的人类结果之间的关系。在组织之外，同样的问题也适用于个人目标：数字可以提高，但根本目的却被忽视。

这本书值得仔细阅读，并且可能比快速执行手册要求更高。它最好用于改进设计和审查期间提出的问题，而不是作为现成的合规计划。它为有关负责任的部署和有意义的人类监督的讨论提供了坚实的基础。