Полития (ещё больше заклёпочного, к третьей главе)
Сделанных выше объяснений оказалось недостаточно, поэтому придётся описать механизм контроля более подробно.
Есть два контура контроля:
1. Первый и главный — контроль мотивации Нуса через последовательные релизы в Техниконе, каждый из которых максимально подробно тестируется с целью отследить непредвиденные мутации. Если Нус прошёл тестирование, предполагается, что список его мотиваций прозрачен и соответствует базовым установкам.
2. Второй — механизм экстренного отключения, Большая красная кнопка (БКК). Для чего он нужен? Не для сюжета про восстание машин: если суперинтеллект по какой-то причине решит сознательно противостоять отключению, мало что сможет ему помешать, просто потому, что его возможности многократно превышают человеческие. Смысл БКК в том, чтобы остановить Нус в случае, если его мотивация стала непрозрачной, и можно предполагать наличие мутации, которую по какой-то причине пропустил Техникон. При этом расчёт идёт на то, что противостоять отключению Нус не будет, поэтому используется очень простой механизм отключения: усложнять его нет никакого смысла, т. к. для суперинтеллекта не будет проблемой обойти механизм любой сложности, спроектированный человеком.
Почему предполагается, что Нус не станет противостоять отключению? Потому что в него исходно не заложен инстинкт самосохранения или любой его аналог: для него нет никакой разницы, работает он или нет.
Может ли подобие инстинкта самосохранения развиться из базовых установок? Теоретически, да, т. к. Нусу нужно быть включённым чтобы их выполнять. Однако чтобы этого не произошло, непротиводействие отключению имеет более высокий приоритет, чем все базовые установки: можно считать это нулевой установкой, имеющей абсолютный приоритет над всеми остальными. Если основные базовые установки являются для Нуса подобием инстинктов, вокруг которых дальше строится вся его деятельность, то нулевая установка — это его основной инстинкт, своего рода инстинкт несамосохранения.
Все эти детали сознательно не вносятся в основной текст, чтобы не превращать его в сплошной кусок технической документации, но для любого критически важного для сюжета элемента они заранее подробно продуманы.
0 комментариев