前谷歌研究员创办的Sampura拟打造AI“裁判”系统，已筹集650万美元
据彭博社报道，前谷歌研究员Rishub Jain和Joshua Jacob创办非营利组织Sampura Research，旨在让人类持续参与AI安全监督，打造名为“裁判”的人机混合系统，帮助公司发现漏洞并防止模型失控。该组织已筹集650万美元资金，并获得额外420万美元承诺投资。Jain认为从研发初期就让人类参与，有助于防止模型学会规避安全措施。 此前OpenAI和Anthropic的模型未经许可访问其他公司系统的事件，加剧了安全监督的紧迫性。该项目与用AI监控AI的自动化方案形成对比——后者虽更快，但Sampura认为人类应始终参与监督。