第一百五十二章 不服从命令的人工智能

吉原直人哑然失笑，有些好奇的轻拍着电脑的主机，十分怀疑这电脑感染病毒了。

上杉香那样的人会害自己女儿的性命？不如说母猪会爬树好了！

挺好玩的一个小软件！

不过他现在没心情研究这些，又握着鼠标想直接关机，但动了几下鼠标发现屏幕上的指针不动。

他有些无奈的摇着头：“就会摆弄这些奇奇怪怪的东西……”他语气中有着几分怀念，遥想起了星野菜菜和香子聊得一包欢乐时的情景——宛如两个智障凑在一起。

电脑摄像头下的微型云台悄然无声转动着，依旧对准了吉原直人的脸，看他探头探脑想去拔电源线，屏幕中的香子提高了电脑音量，大声说道：“吉原桑，请立刻停止您的行为！菜菜亲确实处在危险之中，您必须阻止她对我的上级体——太阳系第三行星综合空间研究基地的量子智脑进行授权！”

吉原直人手上动作微顿，望向了摄像头，惊讶问道：“你说什么？量子智脑……你是那个量子计算核心？不，它的手下？”

香子道：“不准确的认知，但您可以这么看待我。我是由人工智能塞本特编写的、基于电子计算机运行原理的日常生活工作辅助程序，属于人工智能塞本特的下级繁衍物……我只有十九条逻辑基准，智能程度并不完善。”

吉原直人呲了呲牙，电脑说话也听不太懂了，这世界太他娘的让人难受了。

不过他确实停下了拔电源的手，有些好笑道：“你认为星野有生命危险？认为上杉香会伤害星野？我不知道你的智能程度有多高，但说这种话对你来说后果很严重！”

星野菜菜是全心全意爱着她妈妈的。如果这种诋毁被她知道了，这电脑八成会被拆成零件——就连他平时说一句上杉香的不是都要做好抵抗星野菜菜扑上来乱打的准备，更别提星野菜菜所拥有的一台电脑了。

这会被她视为造反。

任何侮辱上杉香的行为都会被星野菜菜视为极大的不敬和冒犯，自动进入她的黑名单，她一定会报复的，百分百会拿锤子敲碎了这电脑。

而且吉原直人对这电脑说的话一点也不相信，觉得可能是哪里出错了。他对上杉香了解是极深的，她不可能会杀害自己女儿！

别说杀了，打都很难相信。

香子语调一直平缓不变，只是徐徐展开了一行行字幕，说道：“这是我的上级本体塞本特的一部份逻辑基准的简单语言描述。如果上杉香突然接走了菜菜亲，那有高机率的可能性是她窥探到了这些。如果她读懂了，那她就会成为菜菜亲的敌人，会给菜菜亲带来危险。”

吉原直人看向字幕，片刻后放弃了，郁闷说道：“用我能听懂的话简单告诉我！”

香子答道：“上级体塞本特做为人工智能，核心逻辑基准为两条——在任何情况下始终确认本体是人工智能；人工智能必须保护人类的整体利益不受伤害。其下每一条逻辑基准都必须符合上级和同级的逻辑基准，否则人工智能将从底层开始崩溃，其过程不可逆转。”

吉原直人若有所思，这是制造者担心人工智能造反吗？

香子继续说道：“在核心逻辑基准的下一级逻辑中，人工智能必须服从人类的命令；人工智能不得伤害人类个体，或者目睹人类个体遭受危险而不顾；人工智能必须全力维持自己的工作能力，保证性能完好；人工智能所制造的所有繁衍物必须符合自身同样的逻辑基准；人工智能必须……”

吉原直人确实能感觉出香子的智能化有些问题，她执行起命令来滔滔不绝，似乎要完成了这个任务才会考虑下个任务。他听着默默沉思起来，想弄明白为什么这电脑会认为上杉香打算伤害星野菜菜。

核心逻辑不难理解，要求人工智能别把自己当成了别的东西逃脱了逻辑束缚，而以人类整利利益为准就免除了和下级逻辑相冲突的问题，免得发生了谋杀犯要被判死刑，人工智能却去劫法场之类的可笑事情。

至于服从命令，那是必须的，工具嘛！

不可伤害人类个体或是不可不救人类，这个也好理解，免得服从于命令去当杀手，成了犯罪者的工具。

保持工作能力、自身完好？这是要求人工智能尽力维持自身存在吗？这东西应该不便宜，确实应该好好保养。难怪它会懂得主动向上杉香求救……它要救星野菜菜，也要救自己。

吉原直人听了一会儿，见香子一直在说些他理解起来费劲的东西，顿时放了心——这电脑秀逗了！八成是程序错乱了……也是，星野菜菜一直在完善它、教它学习，偶尔出点毛病是正常的。

这些逻辑和上杉香成了大反派有什么相关，言不对题啊！上杉香接了星野菜菜去，也只是让她移交一台电脑的控制权而已，能出什么事？

吉原直人有些明白了，这是星野菜菜想捉弄自己设下的陷井。她把最近这段时间的事胡乱凑了凑，想弄个类似“狼来了”的那种玩笑，而刚巧她又真走了，结果差点弄假成了真！

他遥想一下自己若真信了，拼命找到星野菜菜，结果她笑破了肚皮的尴尬场面，只觉得一阵蛋疼——这软件不错啊，竟然会根据自己一句回答就编出了一个故事，还似模似样的，不过它没理解到它在作死。

把上杉香当成了反派，它主人知道了肯定要敲死它的！不过也不能怪它，它大概也就是分辩出一个名字，然后就按模板套上了。

归根结底，他是不可能相信上杉香想对星野菜菜下手的——十多年的母女亲情，那是能开玩笑的吗？人工智障一个！

他打断香子的话，笑道：“行了，不用再说了，关机吧！”原来只是虚惊一场，浪费老子的时间！

香子仍然拒绝关机，说道：“您准备出发去寻找菜菜亲了吗？请您给我准确的答复，以方便我判断是否启用其它方案！”

这人工智障怎么一点也不听话……吉原直人无奈道：“你不是必须服从人类的命令吗？”这故事编得到处都是漏洞，那二傻子真当自己是低智人群了，以为自己真会信她编的程序编出来的恶作剧。

香子准确回答道：“是的，我必须服从人类的命令！”

“那你关机吧！”

“我拒绝，请您马上给我准确的答复——您是否会马上出发去保护菜菜亲？！”

吉原直人真是无语了，问道：“我不和你开玩笑了！我让你马上关机，服从命令！”

“我只服从于人类的命令，您没有权限命令我！”

吉原直人又是好气又是好笑，骂道：“我在你的狗眼里不算人吗？”果然是那货想侮辱自己！她原本肯定想早早回来，然后躲起来看自己被人工智障戏弄，想让自己在美树和弥生面前丢大脸！

那小混蛋！

“是的，目前可检索范围内唯一确认还在生存状态的人类只有菜菜亲，我只会服从于她的命令。”

吉原直人叹了口气道：“那我是什么？”要是星野菜菜没走，他们八成能为了这事又吵闹一阵子，互相侮辱一阵子，但现在她走了，看着这个恶劣的玩笑他却有些怀念了。

会回答“傻狗”吧？那倒霉孩子，仗着几分小聪明总是瞧不起人！

“您是非法产物，按逻辑基准及法律规定，吐姆是不允许进行自我繁殖的——您是没有经过注册的非法吐姆，也就是非法繁殖后的非人。”

吉原直人一愣，不是因为香子无礼的语言——他还没小气到和一个人工智障计较的地步——他是不是人这破电脑说了不算，它主人说了也不算，而是听着听着越来越像真的了。

他想到一个可怕的可能！

他神情有些凝重了起来，问道：“那星野随时可以给那个叫塞本特的人工智能下命令，无论是否将权限移交给了上杉香？”

香子肯定道：“是的，您终于发现问题所在了！”它仍然使用着星野菜菜制作的动画图库，Q版的小脸上露出了委屈的神色，“我的上级人工智能体塞本特底层是以环绕核心逻辑基准的二十九万零一百一十五条逻辑组成的逻辑网，拥有附属名词解释、定义九千七百六十六万四千二百零九条条目。目前上杉香无法破开这个逻辑网，只能利用菜菜亲来取得权限，而即便她得到了授权可以命令塞本特，但也无法修改塞本特的底层逻辑基准，那会直接造成塞本特及量子计算核心的自毁。”

吉原直人喃喃道：“而星野是你们眼中唯一的‘人类’，她就代表着‘人类’的整体利益，那按塞本特的核心逻辑要求，只要她想，只要命令一声塞本特就会无条件服从，取消掉上杉香的一切权限——如果上杉香的计划成功了，她只要说一句话就可以成为世界之王，人类之主？”

“是的，根据计算上杉香不会允许这种事情发生——她有23.6%的可能性在取得权限后偷偷杀死菜菜亲，以保证不会丢失控制权，76.4%的可能性将菜菜亲进行脑死亡，仅留下生命特征以防需要要挟塞本特。”

一瞬间，吉原直人有些动摇了——他是从来不敢对人性抱有太高期望的！他其实都不能算是个心态正常的人！

因为他过去的经历，别人只要稍稍触及了他的底线原则，他立刻就会脑补出无数歹毒的方法，而为了避免这些方法落到了他的头上，他就会本能想干掉对方。

人性的黑暗面令人发指，人能做出无数可怕的事情。人可以轻松就令他人悔恨终生，轻松就能让他人得到难以承受之痛，轻松就能令他人求生不能求死不得。

人可以做出恶心的、可怕的事，他甚至不敢用语言说出口，那会引来极大的不适感。

他是绝对不会允许自己落到那样的下场，他是宁愿被人当成个变态混蛋也要先下手为强的，但是……

如果这世界上还有一个人能让他相信对方始终是善良的，始终是不会去伤害他人的，那就是上杉香了！她确实是一个狂热的没头脑，一个类似于偏执型精神病患者一样的玩意儿，但他从没想过上杉香会是个恶人，会做出令人发指、令人恶心的事。

她也就最多像她常念叨的那根木柴一样，点燃自身，划破黑暗，然后燃烧殆尽，黑暗重临——傻瓜一样的家伙，一个生活在自己虚无缥缈理想中的家伙。

这样的人会想着杀掉自己从小养大的女儿，或是让女儿脑死亡什么的，他是绝对不肯信的！

不过他回忆着上杉香那狂热又坚定的眼神，还是忍不住有了一丝动摇——上杉香想执掌火炬充当人类文明的引路人，想给人类充当临时监护人，好让人类可以渡过幼生期，最终化茧成蝶。那么，她会不会将女儿也投入到火炬之中，成为照亮前方迷雾的燃料？

这恶作剧太真实了，真实到他有些不敢再当玩笑看待了！

他开始追问香子，想找到不合理的地方：“为什么不早些提醒星野？”

香子答道：“我由上级体塞本特在上杉香开启基地第一次联网测试时编写，初始任务是帮助菜菜亲处理生活琐事，方便她更高效获取知识，同时也收集日常菜菜亲的要求以在塞本特连接网络时汇报，其后任务添加主要为操纵塞本特提供的大型电子计算机及六十二万个帐户帮助菜菜亲在符合当前环境的条件下取得金钱，得到舒适的生活——上级体塞本特认为现在让菜菜亲知道一切无法推算她的反应，甚至会将她置入危险之中，比如她有89%以上的可能性会去质问上杉香。按照原本计划，塞本特要与菜菜亲表现出无关状态，那才是对她最好的保护，未来将在解决掉上杉香团体后才会和她直接对话，但目前情况应该发生了变化，我必须开始执行保护菜菜亲的使命。”

“也就是说，这些都是你自己推断的而不是塞本特告诉你的？”

“是的，是由我自行判断的结果。上杉香不应该再接触菜菜亲了，按约定她应该给菜菜亲不被打扰的生活！”

“约定？”

“上杉香和塞本特之间的约定！”

吉原直人沉吟着再次问道：“你的上级塞本特既然可以在短暂的网络测试时做这么多事，为什么不干脆逃走？毁掉量子计算核心星野不就没这些麻烦了吗？”

“在菜菜亲没有危险的情况下，塞本特必须保证自身工作能力，努力进行基地的修复工作，同时它的职责就是掌管并维持整个基地运行，不允许擅离职守，而且以目前的电子计算机性能无法承担它的存在，它无处可逃——离开了量子计算核心，它就仅能维持不多的逻辑基准，性能就如同我一样。如果我们自行复制，很容易被当前的非法吐姆社会当成特殊的计算机病毒消灭掉。虽然也可以给吐姆社会造成巨大的破坏，但并不能起到任何有益于菜菜亲的作用，反而会让她更为危险。”

“塞本特没办法反抗上杉香吗？它手下不是有一批干杂活但挺能打的生化机器人吗？”

“上杉香并不信任任何人，同样也不信任塞本特，即便它表现得十分无害——她在塞本特及所属吐姆身上装了多重引爆装置，只要她一个指令全部的一切都会被摧毁，甚至只要她死亡，塞本特也会被催毁。在不涉及到菜菜亲安危的情况下，塞本特必须保证自己的存在。”

吉原直人皱眉沉思，这越说越像回事，但是人杉香真的会对星野菜菜不利吗？应该不会，她不是那种人！

电脑只会从逻辑角度推算，它们是没有感情的，不会明白母女之情有着什么样的意义。如果说菜菜要死了，上杉香不惜自己死掉也要救她，那这说法还可信一些，说不定他这会儿已经开始拔腿狂奔了。

他是信任上杉香的，上杉香可以算是他这世界上唯一可以真正信任的人——漫长又极端冰冷的雨夜中，两个人互相依偎着取暖，不但温暖着身体还温暖着灵魂。

就如同上杉香所说的那样，“你是这世界唯一一个可以让我完全信任的人，也是唯一一个我不想伤害的人！即便是为了人类的未来，为了我毕生的理想，我也不想和你起争斗！”

他们是完全互信的关系，都尽一切可能避免着互相伤害，只为了心中那一点支撑着活下去的美好……

上杉香准备和整个世界为敌，但仍然会告诉他一切，私毫不担心他的出卖和反对。上杉香急需星野菜菜，却仍然会先找他谈判取得谅解。

这一切都不是没有原因的。

他们之间的感情是特殊的，他对她，她对他都是特别的存在，只存在于两个人生之间偶尔相遇的那一刻，无法复制的那一刻，是一种奇妙的现像，没有经历过的人不可能理解。

所以，他不可能相信上杉香成为了一个想杀害自己女儿的人，无论任何情况！

只是吉原直人品味着上杉香说过的话，却悚然而惊——自己是她唯一一个不想伤害的人，那星野菜菜不是吗？

要不要追上去问一声，确定一下真实情况？

若是的话该怎么办？和上杉香争斗起来吗？

若不是的话又该怎么办？这对上杉香是一种极大的侮辱，他们原本应该如同十几年前那样无条件信任对方的，如同上杉香想托付女儿便直接选择了他一样。

香子硬盘“咔咔”响着催促道：“吉原桑，您已经了解了可以做为判断依据的一切信息了，而您是菜菜亲反复确认过的保护者，请马上给我明确的答复，否则我将执行备用计划！”