机器人嬗变成超智能具独立意识的类人，对它的主人和人类大肆杀戮。科幻小说经常如些演义。这真的会发生么？

随着人工智能的进一步发展，科技发达的国家必然会把机器人装备到军队中，送往前线。以美国为例，当前美军已经装备了很多机器人，这些机器人都有人操纵着。同时他们也有很多个项目在进行着，项目间相互独立发展。一些科学家对此产生了担忧，提出研发人要加强道德约束，研发的机器人一定要尊守"武士代码"(warrior code），严防机器人起义。

人们相当然的认为这些机器人只会尊照人们的旨意行事。首席行政编译员Patrick Lin在报告中说，"其实这是误解。这种想法太过时了。当数百名程序员为一个战争机器人的运行编写数百万行的代码时，没有一个人能够完全清楚地知道它是怎么运行的..."

同时Lin博士还指出，避免战争机器人起义的关键在于让它们学会"学习"逻辑，使它们能分辨出什么正确和错误的战争道德。传授这些逻辑要基于现有的道德守则进行机器人开发和编程。

新报告好像更多地围绕杀人机器人(Killer robot)展开论述。在程序发生故障时，另外一个潜在的威胁在于它可能变成恐怖者，重编程其它机器人，朝自已人开枪。另一个棘手的问题是谁来对这些机器人的残暴承担责任——机器人，程序员，军方还是美国总统？

鉴于美国国会最近的强制计划——到2010年Deep Strike 无人机必须交付，到2015年三分之一的地面战车必须无人化，加州州立科技大学伦理和新兴科技术系撰写的关于美国海军研究的报告，警告说过早的部署或对于潜在问题的自满很危险。急匆匆的上市会带来诸多如设计不当或程序问题。比较糟的情况是如果没有持续和有效的努力在智能“自治”系统中建立一个道德控制机制，过早实现这些系统或战争机器人是要付出生命的代价的。

简单的道德准则，如Issac Asimov机器人三原则。第一条:机器人不能伤害人类；报告指出此说法不够充分或恰当，因为战争机器人就要去杀人的，问题是他们要分清敌我和平民。Lin博士进一步阐述说，我们要展机器人教育，赋予它们“战场道德，武士代码”。

在伊拉克已经有很多防御机器人在服役。值得一提是今年早些时候，一个软件故障导致战争机器人袭击了友方目标，而此机器人还在人的操纵之下。难以想象如果以后机器人相对自治起来后果将是多么的可怕。

来源