Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
В прошедшие годы эти законы подвергались многочисленным изменениям и интерпретациям. Множество симпозиумов, конференция и семинаров было тем или иным образом посвящено вопросам морально – этического поведения роботов и искусственного интеллекта. Однако с прагматической точки зрения, по мнению автора это не имеет никакого значения по двум причинам.
Еще никогда в истории человечества не существовало вопроса, связанного с вооружением, по которому главы всех государств пришли бы к единодушному мнению. Любые ограничения в разработках ИИ не имеют смысла, если их не будут придерживаться все страны, от США, Китая и России и до Израиля, Ирана и Северной Кореи. Если у Вас есть граница в тысячу км., и вы не контролируете на ней 1 метр – у Вас нет границы.
Если бы главы всех государств смогли договориться о принятии единых стандартов в разработке ИИ, всегда существует ненулевая вероятность появления индивидуального хакера, способного запустить в облако программу рекурсивного самопрограммирования.
Лимонка на торте: рекурсивное самопрограммирование
Пусть сверхинтеллектуальная машина определена как машина, которая может намного превосходить всю интеллектуальную деятельность любого человека, каким бы умным он ни был. Поскольку конструирование машин – один из видов такой интеллектуальной деятельности, то сверхинтеллектуальная машина могла бы сконструировать даже лучшие машины; за этим, безусловно, возник бы «взрыв интеллекта», а разум человека остался бы далеко позади. Таким образом, первая сверхинтеллектуальная машина – это последнее изобретение, которое человеку когда-либо нужно сделать.
И. Дж. Гуд
Машина, которая улучшает сама себя, может улучшить скорость своих вычислений или уменьшить потребность в вычислительных ресурсах. Она может снижать уровень ошибок или строить более точную модель оптимального решения. Рекурсивное самоулучшение приводит к тому, что система не только сама улучшается со временем, но и сам процесс улучшения становиться при этом все лучше и лучше. Многие теоретики ИИ считают что такой процесс будет продолжаться бесконечно. Однако автор считает, что здесь в качестве ограничителя будет срабатывать «Закон убывающей отдачи», который гласит, что улучшение одного из факторов сверх определенных показателей обеспечивает улучшение результата на всё меньшую величину, то есть темп прироста результата меньше темпа роста улучшающего фактора.
Например, ИР занявшись улучшением своего кода понимает, что наибольшей плотностью записи информации обладает система счисления с основанием равным основанию натуральных логарифмов, то есть равным числу Эйлера (е=2,71…). То есть из целочисленных систем троичная система счисления является наиболее эффективной. Благодаря тому что основание 3 нечетно, в троичной системе возможно симметричное относительно нуля расположение цифр: – 1, 0, 1, с которым связаны такие ценные свойства, как:
Естественность представления отрицательных чисел;
Отсутствие проблемы округления: обнуление ненужных младших разрядов округляет – приближает число к ближайшему «грубому».
Для изменения знака представляемого числа нужно изменить ненулевые цифры на симметричные.
При суммировании большого количества чисел значение для переноса в следующий разряд растет с увеличением количества слагаемых не линейно, а пропорционально квадратному корню числа слагаемых.
Схемы с 3-значной логикой дают возможность сократить количество используемых логических и запоминающих элементов, а также межэлементных соединений. Трехзначная логика обладает большей выразительностью, чем двузначная. Например, существует лишь 16 комбинаций входов-выходов двухвходового двоичного вентиля, тогда как у аналогичного троичного вентиля таких комбинаций 19683.
Учитывая все это, ИР берет и переписывает свой код с бинарной (двоичной) системы в троичную. Но дальше в этом направлении двигаться некуда, так как 4-значный код уже не дает такие преимущества. Дальнейший прогресс здесь возможен только на принципиально ином уровне, когда трансформация ИР осуществляется не на уровне кода, а на уровне физической реализации троичного компьютера, аналогично производимой в СССР ЭВМ «Сетунь».
Вместо того чтобы создавать программу для моделирования ума взрослого человека, почему бы не попробовать создать такую, которая моделирует ум ребёнка? Если такую программу затем подвергнуть соответствующему обучению, то можно было бы получить мозг взрослого человека. Предположительно, мозг ребёнка – это что-то вроде тетради, которую покупают в магазине канцелярских товаров. Довольно простая вещь и множество чистых листов… Надежда на то, что в мозге ребёнка есть совсем небольшое устройство, так что нечто, подобное такому устройству, можно легко запрограммировать. Можно предположить, что в первом приближении объем работы при обучении (этого устройства) такой же, как и для (устройства в мозге) ребёнка.
Алан Тьюринг
Q-обучение (Q-learning) – метод, применяемый в искусственном интеллекте при агентном подходе. Относится к экспериментам вида обучение с подкреплением. На основе получаемого от среды вознаграждения агент формирует функцию полезности Q, что впоследствии дает ему возможность уже не случайно выбирать стратегию поведения, а учитывать опыт предыдущего взаимодействия со средой. Одно из преимуществ Q-обучения – то, что оно в состоянии сравнить ожидаемую полезность доступных действий, не формируя модели окружающей среды.
Обучение с подкреплением – одна из трех основных парадигм машинного обучения, наряду с обучением с учителем и обучением без учителя.
Обучение с подкреплением (англ. reinforcement learning) – один из способов машинного обучения, в ходе которого испытуемая система (агент) обучается, взаимодействуя с некоторой средой. С точки зрения кибернетики, является одним из видов кибернетического эксперимента. Откликом среды (а не специальной системы управления подкреплением, как это происходит в обучении с учителем) на принятые решения являются сигналы подкрепления, поэтому такое обучение является частным случаем обучения с учителем, но учителем является среда или ее модель.
ИР и человек: две морали
Человеку свойственно считать себя и свой мир эталоном, критерием всего и вся. Раньше это проявлялось в убеждении, что весь мир вертится вокруг нашей планеты, потом в антпропоморфизме, где человеческий образ и его свойства переносились на разные одушевлённые и не очень предметы, природные явления и абстрактные понятия. Далее появился углеродный шовинизм, утверждающий, что жизнь возможна только в водно-углеродной форме ввиду исключительных химических и термодинамических свойств углерода. Последняя теория в том же ряду: антропный принцип, утверждающий, что «Мы видим Вселенную такой, потому что только в такой Вселенной мог возникнуть наблюдатель, человек». То есть не человек такой, потому-что Вселенная такая, а Вселенная такая, потому что человек такой.
Свойства человека быть всему голова, хорошо описал Элиезер Юдковский в своей работе «Искусственный интеллект как позитивный и негативный фактор глобального риска»:
«Во времена расцвета популярной научной фантастики, довольно дешевого свойства, обложки журналов пестрели картинками, на которых очередное инопланетное чудовище – в народе более известное как "пучеглазый монстр" – в очередной раз куда-то тащило очередную красотку в обязательно задранном платье – причем красотка была нашей, земной, женщиной.
