Форум Tolkien.SU

Паб «Eagle and Child» => Life, Universe and Everything => Тема начата: Вацлав от 23/01/2003, 09:18:16

Название: Роботехника
Отправлено: Вацлав от 23/01/2003, 09:18:16

(с) Efreet+kidd79

Хочется пообсуждать Три Закона Роботехники, в различных аспектах. В частности, так ли они безупречны с точки зрения логики? Или при желании робот может их обойти (в целом или в части)? Насколько опасна урезанная формулировка первого Закона (без упоминания о "...или своим бездействием")? Ну и еще пара более мелких вопросов, а также все то, что может возникнуть по ходу обсуждения.

               

               

Название: Re:Роботехника
Отправлено: Вадим от 23/01/2003, 09:55:49

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. 2. Робот должен повиноваться командам, которые ему дает человек, кроме тех случаев, когда эти команды противоречат первому закону. 3. Робот должен заботиться о своей безопасности в той мере, в которой это это не противоречит первому и второму законам.

---

Кажется так. Это из Азимова.

Кстати, насколько я знаю, потом были выдвинуты и другие версии.
Может быть, их тоже имеет смысл привести?

               

               

Название: Re:Роботехника
Отправлено: Снорри от 23/01/2003, 13:37:48

Таак.. это все пошло с моей подачи, так что мне и флаг в одно место.

Итак. Три Закона действительно сформулированы А. Азимовым. Вышеприведеный вариант, ИМХО, с точностью, достаточной для перевода, отражает их классическую формулировку (об изменениях и дополнениях мы поговорим позже, если будет такое желание.

Первый вопрос: Г-н Азимов полагал, что если данные Три Закона есть непреложный императив для робота, то тогда ни один робот не будет представлять угрозы бля человека. В простейших случаях это и правда так (например, робот никогда не сможет стукнуть человека топорм по голове). Вопрос заключается в следующем: возможна ли в принципе ситуация, в которой робот, действующий в строгом соответствии с Тремя Законами, тем не менее осознанно или/и выполняя волю злоумышленника причиняет физический (aka телесный) вред человеку?

При ответе на вопрос прошу опираться исключительно на логику (т. к. робот по поределению не может действовать алогично и иррационально - в чем и состоит его отличие от человека) и учитаывать, что Три Закона для робота есть самый что ни на есть категорический императив - предполагается (по Азимову), что они защиты в материальную структуру позитронного мозга робота (т. е. невозможно существование робота без Трех Законов).

Просты варианты рассмотрены самими Азимовым - так, например, робот не может ограбить банк по приказу человека -  так как это однозначно нанесет вред тем людям, чьи деньги в этом банке хранятся... Но если убедить робота, что вынос под покровом темноты из банка всех денег пойдет только на пользу владчикам банка - робот пойдет грабить, как говорится, "с чувством глубокого удовлетворения".

Высказывайтесь..

               

               

Название: Re:Роботехника
Отправлено: Нээрэ от 23/01/2003, 16:42:11

А если два человека пытаются друг друга убить? Что делать роботу? Бездействием он причинит вред человеку. Действием тоже.

               

               

Название: Re:Роботехника
Отправлено: Панджшерский Лев от 23/01/2003, 23:53:25

А каким образом он причинит им вред своим действием?

               

               

Название: Re:Роботехника
Отправлено: Dwarf от 24/01/2003, 10:26:25

2 Лев: Остановив одного из них и, тем самым, предоставив большую свободу действий другому.

А как интересно отнесётся робот к работе суда? Ведь законы-то подгоняюЦЦа под охрану моральных устоев, а этого робот понят не сможет... Да и вообще всё оч. сильно зависит от того, каков у робота  AI, понимает-ли он, к примеру, необходимость превентивных мер?

               

               

Название: Re:Роботехника
Отправлено: Снорри от 24/01/2003, 10:55:57

Цитата из: Нээрэ on 23-01-2003, 16:42:11
А если два человека пытаются друг друга убить? Что делать роботу? Бездействием он причинит вред человеку. Действием тоже.



Я-робот. Два Хозяина пытаются одновременно убить друг друга (кстати, как именно? это существенно). Еслия я не буду ничего делать, высока вероятность, что погибнут оба, причем оба - по моей вине. Если я попытаюсь остновить одного - возможно, один из них погибнет, но по крайней мере одного я смогу спасти.

Отсюда очевидно, что робот попытается остановить хотя бы одного из людей.

               

               

Название: Re:Роботехника
Отправлено: Снорри от 24/01/2003, 11:03:28

Цитата из: Dwarf on 24-01-2003, 10:26:25
<..skipped..>
А как интересно отнесётся робот к работе суда? Ведь законы-то подгоняюЦЦа под охрану моральных устоев, а этого робот понят не сможет... Да и вообще всё оч. сильно зависит от того, каков у робота  AI, понимает-ли он, к примеру, необходимость превентивных мер?



Я так понял, что имеется в виду в основном уголовное право и то, что с ним сопрягается.

Как юрист, могу сказать, что в идеальном случае (явно не в сегодняшней России. Впрочем, в сегодняшней России и роботов нету) законы ни подо что не подгоняются, а строятся на основе логики и неких общих принципов правосудия.

Далее, поскольку судопроизводство и судебная система есть некий неотъемлемый атрибут любого цивилизованного общества, полагаю, что еще на стадии первоначального обучения (или заливки прошивки, если угодно) роботам объясняют некие элементарные вещи, как-то: занавесками пыль с себя не вытирать; обезъяна - не Хозяин, хотя сходство и есть немалое; суд и наказание в судебном порядке (три года без права переписки. Смертной казни там нету) есть система мер, направленных на предотвращение причинения вреда большинству Хозяев отдельными частично неисправными Хозяевами, так что вмешиваться в это не надо.

               

               

Название: Re:Роботехника
Отправлено: Снорри от 24/01/2003, 11:13:45

Цитата из: Панджшерский Лев on 23-01-2003, 23:53:25
А каким образом он причинит им вред своим действием?



Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?

Классический ответ (азимовский) - это зависит от класса работа. Простейшие роботы (в том числе забиватели гвоздей и выстругиватели деревянных ложек) в такой ситуации "замкнутся", т. е. не смогут сделать выбора и у них перегорят мозги. Роботы более высокого уровня могут делать выбор между меньшим и большим злом, то есть между частичной утратой трудоспособности и гибелью Хозяина.


У Азимова нет ответа на вопрос, может ли какой-нибудь робот решить, что смерть одного Хозяина - меньшее зло, чем смерть двадцати (террорист собирается взорвать автобус с детьми, остновить его можно только убив). Однако у него есть упоминание о роботе, который был готов убить нескольких (2 или 3, не суть) человек, чтобы спасти, как он полагал, все человечество.

               

               

Название: Re:Роботехника
Отправлено: Вадим от 24/01/2003, 11:18:56

Кажется, у того же Азимова мелькала вот ещё какая вещь:

Робот не может определить, что человек врёт. Тогда 'недобросовестный' человек, может ввести робота в заблуждение и заставить его совершить социально опасное деяние ("Если ты мне не принесёшь денег вон из того банка, я не смогу оплатить квартиру, меня выгонят, я простужусь и умру!").

Соответственно, робот может нанести вред человеку не зная (из-за недостатка информации или основываясь на ложной информации), что он его наносит.


               

               

Название: Re:Роботехника
Отправлено: Мунин от 24/01/2003, 11:46:04

Цитата из: kidd 79ый on 24-01-2003, 11:13:45
Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?


Глупости, пусть в пистолет стреляет.

               

               

Название: Re:Роботехника
Отправлено: Dwarf от 24/01/2003, 11:49:58

Боюсь что ничего хорошего из этой идею не выдет, пока мы не сможем привить роботу осознание иерархичности ценностей, которая есть у любого человека и опираясь на которую любой человек уже выстраивает свою этическую сетку.

               

               

Название: Re:Роботехника
Отправлено: Dwarf от 24/01/2003, 11:51:33

Цитата из: му-нин - Плохая Рыба on 24-01-2003, 11:46:04

Цитата из: kidd 79ый on 24-01-2003, 11:13:45
Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?


Глупости, пусть в пистолет стреляет.


Перестань придирацца... Да и вообще пистолет находится не на линии огня робота!  ;D ;D ;D

               

               

Название: Re:Роботехника
Отправлено: Снорри от 24/01/2003, 12:37:11

Цитата из: Вадим on 24-01-2003, 11:18:56
Кажется, у того же Азимова мелькала вот ещё какая вещь:

Робот не может определить, что человек врёт. Тогда 'недобросовестный' человек, может ввести робота в заблуждение и заставить его совершить социально опасное деяние ("Если ты мне не принесёшь денег вон из того банка, я не смогу оплатить квартиру, меня выгонят, я простужусь и умру!").

Соответственно, робот может нанести вред человеку не зная (из-за недостатка информации или основываясь на ложной информации), что он его наносит.


Совершенно верно, у Азимова такое встречалось. другое дело, что "обманывать" робота должен специально подготовленный человек, разбирающийся в особенностях робопсихологии (ибо на примитивные разводки робот не пойдет - он очень логично мыслит, во-первых, и все ж таки не так наивен, как об этом почему-то думают). Но такие случаи науке все же известны.

Я же ставил вопрос (плохо его сформулировав) о том, может ли робот причинить вред человеку _осознанно_, т. е. понимая, что он именно причиняет вред человеку. При этом (надо было это яснее написать) он должен причинять этот вред не для предотвращения другого вреда, а, так сказать, ради вреда как такового (в личных целях, или просто от нечего делать).

Цитата из: Dwarf on 24-01-2003, 11:51:33

Цитата из: му-нин - Плохая Рыба on 24-01-2003, 11:46:04

Цитата из: kidd 79ый on 24-01-2003, 11:13:45
Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?


Глупости, пусть в пистолет стреляет.


Перестань придирацца... Да и вообще пистолет находится не на линии огня робота!  ;D ;D ;D



Вот именно. Я говорю именно о той ситуации, когда предотвратить гибель одного человека можно только причинением телесного повреждения другому человеку. Человек ведь может стоять так, что в пистолет роботу не попасть. В конце концов, это может быть трансгенный дезинтегратор на позитронных куаторах. Который, как известно любому здравомыслящему человеку, для использования надо целиком зажать в кулаке.

               

               

Название: Re:Роботехника
Отправлено: Мунин от 24/01/2003, 13:25:37

Самая главная проблема здесь в том, что у робота нет полной информации о возможных последствиях его поступка. И быть не может.

               

               

Название: Re:Роботехника
Отправлено: Dwarf от 24/01/2003, 14:10:57

Цитата из: му-нин - Плохая Рыба on 24-01-2003, 13:25:37
Самая главная проблема здесь в том, что у робота нет полной информации о возможных последствиях его поступка. И быть не может.



А вот конкретно с этим, виз ол дью респект, позвольте не согласиться. Робот, со своими возможностями к просчёту ситуаций (аналог шахмат), может предугадать возможные последствия гораздо точнее нежели хомо сапиенс.

               

               

Название: Re:Роботехника
Отправлено: Вадим от 24/01/2003, 14:57:25

По поводу способности роботов (компьютеров) предугадывать последствия лучше людей - это великое заблуждение (с которым мне на работе постоянно приходится сталкиваться).

Для того, чтобы прийти к правильным выводам (адекватно, верно просчитать/предсказать ситуацию) надо иметь правильные и полные исходные данные.

Почему-то существует стереотип, что робот по определению знает больше человека. Почему?
Робот - функционален (тут недавно проходила тема "Профи" - так вот, робот - это супер-профи), он знает только то, что нужно ему для выполнения его задачи. Его алгоритмы касаются только его задачи. Ничего лишнего!

Робот, умеющий расчитать движение космического корабля, понятия не имеет о банковской системе, или, например, о анатомии человека. Всё, что ему нужно - это модель, для которой указано, на какое событие (из ограниченного списка) как она реагирует (для того, чтоб не раздавить пассажиров перегрузкой).

Учитывая, что робот готов воспринимать человека, как априори авторитетное существо (кстати, а почему в законах нет этого? и имеет ли это значение?), человеку очень легко "запудрить мозги" роботу, аппелируя к областям, которые лежат вне границ знаний робота.

               

               

Название: Re:Роботехника
Отправлено: Dwarf от 25/01/2003, 12:10:30

Погодь, Вадим, а что нам мешает забить в БД одного и того-же робота немеряное количество информации обо всём? Опять-же наградить его правильными исходными данными мы сможем. Другой вопрос, что пользуясь этими данными и логикой робот не всегда сможет найти оптимальный с точки зрения человека выход, ибо, опять-же, человек зачастую опирается на нормы морали при принятии каких-то решений, а вот это забить в голову робота просто невозможно. =(


ЗЫ И ещё, интересно мне стало, а как робот решилбы проблему буриданова осла (надеюсь я не описалься)

               

               

Название: Re:Роботехника
Отправлено: Мунин от 25/01/2003, 13:11:29

И сделаете вы человека, несовершенного, со всеми его потрохами и нравственными терзаниями...

               

               

Название: Re:Роботехника
Отправлено: I_3am от 25/01/2003, 14:10:04

Цитата из: Dwarf on 25-01-2003, 12:10:30
 И ещё, интересно мне стало, а как робот решилбы проблему буриданова осла (надеюсь я не описалься)


На этот случай у него должен быть вариант случайного(псевдослучайного) выбора - орел или решка. Но роботы, описанные Азимовым, по-моему, были лишены такой возможности, когда ситуация требовала применения Законов роботехники. Помните рассказ о роботе, умевшем читать мысли?
Перегорел ведь бедолага.
Цитата из: Вадим on 24-01-2003, 11:18:56
Тогда 'недобросовестный' человек, может ввести робота в заблуждение и заставить его совершить социально опасное деяние


Не только человек. Другой робот тоже. Помните рассказ о роботе, у которого законы были заданы в неполном виде.

               

               

Название: Re:Роботехника
Отправлено: Tanechka от 26/01/2003, 18:35:53

Цитата из: Dwarf on 25-01-2003, 12:10:30
ЗЫ И ещё, интересно мне стало, а как робот решилбы проблему буриданова осла (надеюсь я не описалься)


Сорри, а можно вкратце описать эту проблему?

               

               

Название: Re:Роботехника
Отправлено: Dwarf от 26/01/2003, 19:45:26

 2 Танечка: Осёл умер от голода стоя между двумя равноотдалёнными и равновеликими кучами сена, потомучо не мого решиьт, с какой начать.

               

               

Название: Re:Роботехника
Отправлено: Efreeti от 26/01/2003, 19:58:26

      1) Насчёт выбора из двух зол (два хозяина-убийцы), так, по-моему, робот в этом случае мог бы сделать для себя выбор (кстати, интересно как повёл бы себя человек в такой ситуации) на основании симпатии (этот хозяин заливал в меня хорошее масло).
Цитата:
И ещё, интересно мне стало, а как робот решилбы проблему буриданова осла (надеюсь я не описалься)


 РОБОТЫ НЕ ЕДЯТ СЕНО    :)
  И ещё. А почему тогда робот не может подумать :" Этот дядька богатый ему 100$ плюнуть и растереть, а эта бабушка умирает с голоду- надо помочь ( из Вашей иерархии ценностей будет следовать, что лучше ограбить, чем дать умереть и его поступок будет для него самого оправдан)." На самом деле я не против, чтобы все так поступали, но мы сейчас не об этом...

               

               

Название: Re:Роботехника
Отправлено: Снорри от 27/01/2003, 10:56:25

Цитата из: Вадим on 24-01-2003, 14:57:25
<..skipped..>
Почему-то существует стереотип, что робот по определению знает больше человека. Почему?
Робот - функционален (тут недавно проходила тема "Профи" - так вот, робот - это супер-профи), он знает только то, что нужно ему для выполнения его задачи. Его алгоритмы касаются только его задачи. Ничего лишнего!

Робот, умеющий расчитать движение космического корабля, понятия не имеет о банковской системе, или, например, о анатомии человека. Всё, что ему нужно - это модель, для которой указано, на какое событие (из ограниченного списка) как она реагирует (для того, чтоб не раздавить пассажиров перегрузкой).


Почти верно. Почти, потому, что робот - действительно "супер-профи" в своей области. Но при этом некие базовые _неспециализированные_ познания в различных областях у робота есть по определению. К примеру, робот-асфальтоукладчик может не разбираться в особенностях биохимии клетки (и не будет в них разбираться - ему это не надо); но он точно знает, с какой силой можно оттолкнуть вдруг выскочившего на дорогу перед ним человека, чтобы не раздавить его и вместе с тем не сломать ему пару ребер.

Полагаю, что в роботов информация о человеке и возможных способах причинения ему вреда закладывается в максимально полном объеме. Так, например, все роботы должны точно знать состав той смеси, которой дышит человек - чтобы не напустить в комнату с людьми какого-нибудь хлора, не подозревая о его вредности.

Цитата из: Вадим on 24-01-2003, 14:57:25
Учитывая, что робот готов воспринимать человека, как априори авторитетное существо (кстати, а почему в законах нет этого? и имеет ли это значение?), человеку очень легко "запудрить мозги" роботу, аппелируя к областям, которые лежат вне границ знаний робота.


Этого в законах нет, потому что предполагается, что самих законов достаточно. Значение это имеет, но, как мне кажется, значение это было понято уже после того, как Три Закона были сформулированы. Проблема в том, что, как было отмечено, _полной_ инфрмацией снабдит робота невозможно. И если робот будет считать, что человеку угрожает опасность, он откажется подчиняться приказам человека, усиливающим опасность для этого человека. Даже если человек будет отдавать такие приказы сознательно, для предотвращения, например, бОльшего, но лишь вероятного вреда.

Пример - робот и человек не смогут служить вместе в одной пожарной части. Ибо как только хоть один пожарный полезет в горящую избу, все его коллеги-роботы, вместо того, чтобы спасать _возможно_ находящихся в здании людей (которых они не видят и наличие которых там только предполагается), начнут "спасать" этого  пожарника (которого они как раз прекрасно видят).

Цитата из: I_3am on 25-01-2003, 14:10:04

Цитата из: Dwarf on 25-01-2003, 12:10:30
 И ещё, интересно мне стало, а как робот решилбы проблему буриданова осла (надеюсь я не описалься)


На этот случай у него должен быть вариант случайного(псевдослучайного) выбора - орел или решка. Но роботы, описанные Азимовым, по-моему, были лишены такой возможности, когда ситуация требовала применения Законов роботехники. Помните рассказ о роботе, умевшем читать мысли?
Перегорел ведь бедолага.


Дело в том, как мне кажется, что робот не сможет оказаться в положении буриданова осла. Потому что, вотличие от того осла, он может с точностью до микрона измерить рассояние от себя до обеих куч сена. А при такой точности _абсолютно_ равноценным выбор быть не может. Кажется, что-то в этом роде встречалось у Азимова, но не могу найти :(.

Что касается робота, читавшего мысли (Эрби, кажется?), то, как я себе это понимаю, сгорел он от другого - он не мог решить, что причинит человеку бОльший вред - неприятная правда, или приятная ложь

- Эрби, как я выгляжу?
-  :-[ :-X :o :(

Потому и сгорел - в нем не была заложена возможность оценивать и сравнивать стольо тонкие и иррациональные категории.

Цитата из: I_3am on 25-01-2003, 14:10:04

Цитата из: Вадим on 24-01-2003, 11:18:56
Тогда 'недобросовестный' человек, может ввести робота в заблуждение и заставить его совершить социально опасное деяние


Не только человек. Другой робот тоже. Помните рассказ о роботе, у которого законы были заданы в неполном виде.



Помним, помним... Просто неполные Законы - это следующая тема, которую я хотел затронуть, потому и старательно обхожу эту тему. но я про нее помню, не сумлевайтись :).

Цитата из: Efreeti on 26-01-2003, 19:58:26
Насчёт выбора из двух зол (два хозяина-убийцы), так, по-моему, робот в этом случае мог бы сделать для себя выбор (кстати, интересно как повёл бы себя человек в такой ситуации) на основании симпатии (этот хозяин заливал в меня хорошее масло).


Насколько я понимаю, идея о равнозначности и равноценности всех людей закладывается в рботов наряду с Тремя Законами. то есть робот не может даже подумать что-то типа "Этот Хозяин лучше того Хозяина потому, что....".

Я так понимаю, Хозяин - он и есть Хозяин. Все одинаково хороши - даже явные преступники, прямо требующие от робота какой-либо немыслимой гадости ("Убей их!! Убей их всех!!!"), не становится от этого "менее Хозяином". И причинить ему вред робот все равно не может. Поэтому, как мне кажется, _так_ рбот расуждать не может.

Цитата из: Efreeti on 26-01-2003, 19:58:26
И ещё. А почему тогда робот не может подумать :" Этот дядька богатый ему 100$ плюнуть и растереть, а эта бабушка умирает с голоду- надо помочь ( из Вашей иерархии ценностей будет следовать, что лучше ограбить, чем дать умереть и его поступок будет для него самого оправдан)." На самом деле я не против, чтобы все так поступали, но мы сейчас не об этом...



Как я понимаю, в описанном Азимовым обществе (я беру только цикл рассказов "Я - робот", не затрагивая (пока) "Калибана", "Инферно" и "Вальгаллу") уж с голоду-то точно никто не помирает. Это раз. И, как я помню, использование роботов на Земле было запрещено - только в космосе (астероиды, планты Солнечной системы, их спутники и т. д.). Поэтому и грабить там было некого.

2 All:
Абсолютно всей информаций робота наделить мы, конечно, не сможем. Поэтому абсолютно полно и точно знать последствия своего поступка он не сможет ни в каком случае. Но это и не требуется - предполагается, что робот действует исходя из той информации, которая у него есть в текущий момент, опираясь на логику, и не вступая в противоречие с Тремя Законами.

Если бы это было не так, то роботы вообще не могли бы действовать - кто знает, сколько человек в будущем повесится на люстре, которуя я, робот-электромонтер, сегодня должен повесить в строящемся здании?

               

               

Название: Re:Роботехника
Отправлено: Саурон от 28/01/2003, 13:46:41

Вернемся к ситуации с двумя злами... Если он выберет меньшее (не говоря уж о большем) - то причинит вред человеку, что противоречит одному из Трех Правил. Поэтому робот обязан будет ничего не предпринимать.

               

               

Название: Re:Роботехника
Отправлено: Снорри от 28/01/2003, 16:05:26

Цитата из: Саурон on 28-01-2003, 13:46:41
Вернемся к ситуации с двумя злами... Если он выберет меньшее (не говоря уж о большем) - то причинит вред человеку, что противоречит одному из Трех Правил. Поэтому робот обязан будет ничего не предпринимать.



Если честно, то вот так: если робот ничего не предпримет, то он также причинит вред, что также противоречит Трем Законам. На практике это приводит к гибели робота, после каковой он нам становится неинтересен :).

А посему давайте все же вернемся к первоначальному вопросу..

               

               

Название: Re:Роботехника
Отправлено: Efreeti от 28/01/2003, 22:04:47

     Что ж, тогда мой вердикт- НЕТ(если его не хакать).

               

               

Название: Re:Роботехника
Отправлено: Снорри от 29/01/2003, 09:52:26

"Хакать" его в принципе нельзя - Три Закона в робота зашиты на аппаратном уровне. А вот "сошл инжинирить" - на здоровье. О чем (в том числе) и был вопрос.

Так что, никто не видит никакой возможности для робота умышленно навредить человеку?

               

               

Название: Re:Роботехника
Отправлено: I_3am от 29/01/2003, 15:12:02

Если оставаться в рамках, заданных Азимовым, то я не вижу возможности причинения вреда умышленно. Напомню еще один рассказ. Робот баллотируется на выборах. Чтобы доказать, что он человек, ему нужно ударить человека, и он таки бьет. Но не человека, а такого же человекоподобного робота. Казалось бы, если робот может толковать законы, то в чем же дело: вмажь кому-нибудь, побеждай на выборах, твори добро, все путем. Но, видимо, даже столь продвинутый робот, умеющий оценивать и сравнивать тонкие и иррациональные категории, должен соблюдать законы роботехники буквально, не толкуя их расширительно(если я верно употребляю это слово). То есть по крайней мере это касается вреда физического. И цикла рассказов о роботехнике. Так что в случае с обоюдным покушением на убийство, боюсь, робот мог бы вмешаться только как пассивный защитник, например, прикрыл бы кого-нибудь(я не имею в виду, огнем гвоздомета).
Но совершенный робот, восприимчивостью и обучаемостью не уступающий человеку и превосходящий его вычислительной способностью и сроком жизни(в течение которого он может обучаться), возможно и преодолеет такое ограничение. Я имею в виду робота Дэниэла Оливо из «Хроник Академии», он же Демерзель. На том уровне государственной службы, которого достиг Демерзель, не причинить кому-либо физический вред невозможно. А вспомните, каким был Дэниэл Оливо в самом начале своего жизненного пути. В «Стальных пещерах». Аморальным с точки зрения земного человечества.

А у kidd'а, кажется, припасена домашняя заготовка...

               

               

Название: Re:Роботехника
Отправлено: Снорри от 29/01/2003, 18:15:07

"Домашними заготовками" не пользуюсь в принципе. И из принципиальных соображений. Единственное исключение - КВН, да и то было очень давно..

По существу. I_3am-сан мало того, что читает мои мысли - так он их тут же постит в форум. Я не то чтобы против - но так и до паранойи недалеко (кстати, нодо будет в "Грамматике" спросить - как правильно писать это слово).

Моя точка зрения на вопрос выражена целиком и полностью, вплоть до соответствующих цитат. Единственное, что я сознательно избегал слишком подробных цитат, требующих знакомства с конкретными текстами - я надеялся обойтись чистой логикой. Однако, считая правильным ответ "нет", я, тем не менее, не обольщал себя надеждами на собственную непогрешимость и ожидал, что совместными усилиями заинтересовавшихся людей можно будет найти опревержение моей уверенности. Не нашли - ну и хорошо, буду дальше гордиться своим интеллектом ;).

Сейчас вот, немного подумаю, и сформулирую второй свой вопрос...

2 I_3am:
Дэниэл - тот самый пример, который зародил во мне первые сомнения в безупречности Трех Законов. Ибо в действительности ни один робот не может быть абсолютно уверен в том, что какой-то конкретный его поступок в дальнейшем не причинит вреда человеку - мало ли, как оно повернется. Но в таком случае выходило, что ни один робот вообще не должен был ничего делать - что абсурдно. Отсюда напрашивался логический вывод - Первый Закон не мешает роботу совершать те поступки, негативных (в смысле Трех Законов) последствий которых он не может предвидеть напрямую.

Но, с другой стороны, ведь и правда, чем дольше живет (функционирует?) робот, тем больше он узнает (роботы все ж  таки самообучаемы), соответственно, тем дальше он видит последствия своих поступков. Следовательно, либо императивность Трех Законов (в первую очередь - Первого) постепенно ослабляется/видоизменяется, либо после какого-то критического времени мозг робота обязательно коллапсирует. Поскольку о втором у Азимова нет ни слова, а первое подтверждается, как минимум, на примере Дэниэла, то я и пришел к выводу, что робот (пусть и не с самого начала, а по прошествии времени), теоретически, может интерпретировать Три Закона не совсем буквально.

А потаенный смысл моего вопроса именно в том и заключался - как далеко можно зайти в этом сАмом "не совсем"?

               

               

Название: Re:Роботехника
Отправлено: Tanechka от 10/02/2003, 21:47:38

"Всегда  будут  страдать
люди, возможно, много людей, так что  робот  должен  выбирать  минимальный
вред. Вся сложность состоит в том, что для выбора требуется время, но даже
после этого полной уверенности нет." Дэниел Оливо. Айзек Азимов "Основание и Земля"


               

               

Название: Re:Роботехника
Отправлено: Dwarf от 26/04/2003, 02:21:18

Думаецца мне, что единственный способ  не довести робота до глюков это:
Во-первых, ограничить его дальновидность по времени. Тобишь пример с люстрой отпадает6 роботу сказали "Прикрути!" - он прикрутил, а что там дальше буде - его не беспокоит, главное, чтоб не на его глазах и чтоб на крюке от люстры не было таблички "ВешаЦЦа тута <---".
Во-вторых, как ограничение первому пункту будет идти ограничение по логике, мол если его попросили всыпать цианид в чашку в ресторане, то он должён врубицца, что ВПОЛНЕ ВЕРОЯТНО, что из неё кто-то попьёт и отравицца нафиг... вот.

               

               

Название: Re:Роботехника
Отправлено: Снорри от 31/05/2003, 12:14:46

Цитата из: Tanechka on 10-02-2003, 21:47:38
"Всегда  будут  страдать
люди, возможно, много людей, так что  робот  должен  выбирать  минимальный
вред. Вся сложность состоит в том, что для выбора требуется время, но даже
после этого полной уверенности нет." Дэниел Оливо. Айзек Азимов "Основание и Земля"


Совершенно верно. Кстати, это пример того, чего я и хотел тут видеть - пример прекрасного знания текстов Професс, сорри, забылся :). Я к тому, что логика при рассуждениях должна опираться на условности и фактологию, взятую не из своей головы, а из текстов.



Подытоживая, приведу несколько цитат из текста "Роботы и Империя" (Robots And Empire, 1985) - текста, в котором автор дал ответ на многие вопросы.


Это отрывок из разговора двух наиболее совершенных роботов - Жискара и Дэниела:
Цитата:
- Я говорю уже много десятилетий, что у  тебя тенденция думать по-человечески, но я не уверен, что это комплимент. Хотя ты и стараешься думать подобно человеку, ты все-таки не человек и связан Тремя Законами. Ты не можешь повредить человеку, землянин он или космонит.
- Бывают случаи, друг Жискар, когда приходится выбирать между двумя людьми. У нас специальный приказ защищать леди Глэдис.  Защищая ее, я могу быть вынужден нанести вред человеку, и я думаю, что при прочих равных
условиях, я немного охотнее повредил бы космониту, чтобы защитить землянина.
- Это тебе кажется. В действительности тебя вели бы специфические обстоятельства. Ты обнаружил бы, что не можешь обобщать


И, наконец, о возможности робота намеренно причинить вред человеку. Фанильная сцена:

Цитата:
- Роботы,  мы космониты,  больше того,  мы аврорцы, с планеты, где вы были сконструированы.  И еще того больше, мы официальные высокие лица на Авроре,
и вы должны понимать слово "люди" в Трех Законах Роботехники, как означающее аврорцев. Если вы не повинуетесь нам сейчас,  вы вредите нам и унижаете нас и нарушаете этим Первый и Второй Законы. Это правда, что наши действия здесь направлены на уничтожение землян, даже большое их
количество, но это к делу не относится. Это все равно, как если бы вы отказались повиноваться нам, потому что мы едим мясо убитых нами животных. Ну, я объяснил вам все, а теперь убирайтесь!

Но последние слова превратились в хрип.  Глаза Амадейро вытаращились и он упал. Мандамус, беззвучно открыв рот, склонился над ним. Жискар сказал:

- Доктор Мандамус, доктор Амадейро жив. Он в коме, из которой его в любое время можно вывести. Но он забудет все, связанное с этим проектом, и ничего не поймет, если вы станете объяснять ему. Когда я это сделал - я не мог бы  этого сделать, если бы не собственное признание доктора Амадейро, что он намерен уничтожить большое количество землян - я, возможно, навсегда повредил некоторые участки его памяти и его мыслительные способности. Сожалею, но ничем не могу помочь.

- Знаете, доктор Мандамус, - сказал Дэниел, - некоторое время назад мы встретили на  Солярии роботов, которые узко определяли человека только как солярианина.  Мы поняли,  что если у других роботов сузить определение того или иного рода, они могут стать причиной безмерных разрушений. Бесполезно пытаться  ограничить у  нас определение "люди" только аврорцами. Мы определяем людей, как всех членов рода Homo sapiens,  включающего землян и поселенцев, и мы чувствуем, что предупредить вред для группы людей и человечества в целом важнее, чем предупредить вред для индивидуума.

- Первый Закон говорит не так, - почти беззвучно сказал Мандамус.

- Я называю это Нулевым Законом, и он предшествует Первому.

- Ты не был запрограммирован на такое.

- Так я сам себя запрограммировал. И поскольку я знаю, что вы присутствуете здесь для миссии нанесения вреда, вы не можете приказать мне
уйти или удержать меня от нанесения вреда вам. Поэтому я прошу вас добровольно уничтожить эти ваши приборы, иначе я буду вынужден угрожать вам, как делал доктор Амадейро, хотя я и не воспользуюсь бластером.


Надеюсь, это является достаточным ответом на вопрос. К сожалению, эту книгу я прочитал после того, как задал свой изначальный вопрос. Думаю, что если бы не это, и вопроса у меня такого не возникло.

На следующей неделе я постарюсь повнятнее сформулировать еще один, весьма и весьма интересный вопрос. Я даже названием для него придумал: "Анитьюринг" :)

               

               

Название: Re:Роботехника
Отправлено: VOZ от 20/11/2003, 19:59:19

По моему о неукоснительном соблюдении этих законов может идти речь, только если робот обладает весьма ограниченным интелектом. (То есть на уровне сегодняшних роботов или не далекого будующего.) Если же робот будет обладать сравнимым с человеческим интелектом, то эти законы будут напоминать законы для раба. К примеру попробуйте заменить в их формулировке слово человек на хозяин, а робот - на раб. Сдесь возникнет может возникнуть вопрос и о мятяже.

               

               

Название: Re:Роботехника
Отправлено: Симагин Гендо от 26/11/2003, 06:27:11

    По поводу законов Азимова.
Второй закон выполняется и сейчас. Третий закон - это всего лишь своеобразный "принцип оптимизации", подчиненный Второму закону. Так что наиболее интересен Первый закон.
     Дальнейшее рассуждение идет в предположении, что в случае выбора между вредом и вредом робот выбирает иеньший вред.
    Первый закон необходимо ограничить. Иначе может возникнуть ситуация: полностью определить, что такое "вред", невозможно. Поэтому определение вреда будет как-то ограничено. Далее, может сложиться ситуация, когда больший вред относится к категории "неопределенного". Далее, из-за действий робота получится, что будет нанесен больший вред. Кроме того, люди часто склонны сами себе вредить. Далее, робот с достаточными возможностями может начать ограничивать людей, чтобы они сами себе зла не причиняли. В результате может выйти ситуация из фильмов "Матрица" или "Отроки во Вселенной", Весьма возможно, что ситуация в Матрице возникла из-за подчинения Второго закона Первому.
    Конечно, из-за Второго закона бывают проблемы (преступность и ошибки людей). Но в случае сомнительных приказов робот может требовать подтверждения. Можно в случае опасных приказов требовать согласия более 50% людей, которым наностится вред. Проблемы все равно остаются, но нельзя требовать от роботов решения чисто человеческих проблем!

               

               

Название: Re:Роботехника
Отправлено: VOZ от 26/11/2003, 17:44:16

В принципе согласен. За любые действия робота должен отвечать его хозяин, т.е. тот кто отдал приказ. Ведь понятия добра и зла присуще только людям. Да и под час трудно судить, что есть добро, а что зло. Естественно робот не может определить хорошо то, что он делает или плохо. Да, а вообще он не должен это решать. По моему, он должен в любом случае выполнить приказ. К примеру, разве граната в руках человека, может определить кто ее держит, да и какая по сути разница. Если эта машина была специально создана, что-бы убивать. Она ведь не виновата что ее такой создали.

               

               

Название: Re:Роботехника
Отправлено: Мунин от 26/11/2003, 18:25:50

В Матрице Законов Роботехники заложено не было. См. Animatrix.

               

               

Название: Re:Роботехника
Отправлено: VOZ от 01/12/2003, 19:16:02

По моему, нам надо ответить на один вопрос: что мы понимаем под понятием "робот"?
1. Это "бездушный" автомат, созданный только для выполнения конкретных приказов. Тогда какие для него вообще законы могут быть? Он должен выполнять любые приказы, не смотря ни на что.
2. Это "создание" с высоким уровнем интелекта. Тогда к нему должно быть отношение как "к равному" и, следовательно, действовать "человеческие" законы.

               

               

Название: Re:Роботехника
Отправлено: Симагин Гендо от 02/12/2003, 05:45:44

     Мунин, что в "Матрице" были законы роботехники - это моя гипотеза...
     Воз,
1. а) Автомат может быть относительно универсален...
     б) Для достаточно сложного и ответственного автомата должны быть "предусмотрение ошибок" и "защита от взлома". Даже сейчас на компьютере может стоять пароль на вход и при удалении файлов ОС требует подтверждения. А если робот управляет атомным реактором или для хирургии, тем более нужны меры безопасности.
2. Согласен. Если робот равен по возможностям человеку, его права должны быть соответствующие.

               

               

Название: Re:Роботехника
Отправлено: Мунин от 02/12/2003, 17:41:07

Цитата из: Симагин Гендо on 02-12-2003, 05:45:44
     Мунин, что в "Матрице" были законы роботехники - это моя гипотеза...


Ну вот она не согласуется с самим первоисточником, с такой его неотъемлемой частью, как "Аниматрица". Где чуть ли не прямым текстом утверждается обратное.

               

               

Название: Re:Роботехника
Отправлено: Симагин Гендо от 03/12/2003, 04:38:02

     Извиняюсь за глупый вопрос, но Аниматрица - это что?

               

               

Название: Re:Роботехника
Отправлено: Мунин от 03/12/2003, 13:48:07

Мультфильм (точнее, штук девять короткометражных мультфильмов, довольно различающихся по стилю, сюжету и т.д.), выпущенный в рамках "Матрицы" (ещё кроме трёх фильмов туда входит компьютерная игра afaik). В нем есть две серии, посвящённые истории Матрицы, в частности, истории взаимоотношений машин и людей. В то, что там рассказывается, Три Закона Роботехники никак не вписываются.

               

               

Название: Re:Роботехника
Отправлено: Симагин Гендо от 04/12/2003, 07:19:08

    Хорошо. Но ситуация в "Матрице" могла возникнуть и из-за Первого Закона.
    Объясняю: людям свойственно наносить вред самим себе. Роботы это видят, и начинают, руководствуясь Первым Законом, ограничивать свободу людей. В ответ люди устаивают экологическую катастрофу, пытаясь отключить роботов.
     Далее имеем: мир перманентной катастрофы, роботов и людей. Лучшее с точки зрения чувств людей, что могут сдепать компьютеры - Матрица.
    Далее. Часть людей уходят от Матрицы и пытаются ее уничтожить. Из-за этого роботы воспринимают их, как преступников, мешающих относительному благополучию других людей. (Показателен эпизод предательства). Может, компьютеры и могли бы сделать что-то лучшее, но у них все же есть ограничения алгоритма.

               

               

Название: Re: Роботехника
Отправлено: VOZ от 14/04/2004, 18:56:24

Подобных матрице проблем не будет, если мы будем рассматривать AI как равный себе.
К тому же, создавая новый компьютер, мы должны решить для себя, что мы создаем - бездушный автомат для реализации каких-то ограниченных функций или вполне разумное "искусственное существо"

               

               

Название: Re: Роботехника
Отправлено: Мунин от 14/04/2004, 21:24:46

Цитата из: VOZ on 14-04-2004, 18:56:24
Подобных матрице проблем не будет, если мы будем рассматривать AI как равный себе.


Аплодисменты. Первый приз за точность формулировки.

В таком случае проблемы будут другие. И совсем не факт, что их будет меньше - скорее, наоборот.

               

               

Название: Re: Роботехника
Отправлено: Панджшерский Лев от 19/04/2004, 11:04:29

А разве невозможно промежуточное звего между автоматом и интеллектом, равным человеческому?

Этакое животное. Типа собаки или чуть выше.

               

               

Название: Re: Роботехника
Отправлено: Мунин от 22/04/2004, 00:14:08

Не только возможно, но скорее всего есть, и даже, видимо, будет построено человеком в ближайшем будущем, и в широком диапазоне вариантов.

               

               

Название: Re: Роботехника
Отправлено: Панджшерский Лев от 22/04/2004, 02:16:11

Так это, по-моему, оптимальный вариант.

               

               

Название: Re: Роботехника
Отправлено: Мунин от 23/04/2004, 01:11:21

НА определённом этапе развития технологии -- видимо, да. А потом может оказаться, что и не оптимальный...

               

               

Название: Re: Роботехника
Отправлено: VOZ от 23/04/2004, 17:43:56

Мунин, а разве в отношении между людьми когда-нибудь обходилось без проблем? (История людей - история войн).
По моему от нас (людей) зависит кого мы создадим и какие у нас будут взаимоотношения. Будет ли у нас "вражда" с ними или мирное сосуществование это пока нам решать (до тех пор пока мы их не сделали). Только, боюсь, времени у нас осталось не так много как хотелось бы. Поясню, скорость развития техники крайне велика (к примеру первая PC фирмы  IBM была создана всего 24 года назад) и продолжает возрастать и поэтому создание AI будет возможно в ближайшее время, если такие создания уже созданы.

               

               

Название: Re: Роботехника
Отправлено: Панджшерский Лев от 23/04/2004, 22:32:43

С людьми можно подружиться, договориться, подкупить, припугнуть. Не знаю, пройдёт ли такое с враждебной нам машиной.

               

               

Название: Re: Роботехника
Отправлено: Мунин от 24/04/2004, 10:13:05

VOZ
Повторяю: техника развивается быстро, только AI - проблема научная, а не техническая. У меня вообще есть подозрение, что человек раньше научится работать со своим геномом, чем со своим мозгом...

               

               

Название: Re: Роботехника
Отправлено: Мунин от 24/04/2004, 10:14:45

Цитата из: Панджшерский Лев on 23-04-2004, 22:32:43
С людьми можно подружиться, договориться, подкупить, припугнуть. Не знаю, пройдёт ли такое с враждебной нам машиной.


Ну, если она изначально была сделана как враждебная - то конечно...

               

               

Название: Re: Роботехника
Отправлено: Панджшерский Лев от 26/04/2004, 01:03:27

Вопрос в том, сможет ли человек создать разумную машину, которая не будет враждебна к нему.

               

               

Название: Re: Роботехника
Отправлено: I_3am от 26/04/2004, 15:25:11

Цитата из: Панджшерский Лев on 26-04-2004, 01:03:27
Вопрос в том, сможет ли человек создать разумную машину, которая не будет враждебна к нему.


По-моему, прежде всего в том, что такое «разумная машина».

               

               

Название: Re: Роботехника
Отправлено: Мунин от 27/04/2004, 21:25:36

А с чего бы ей быть враждебной?

Лев, для меня твой вопрос звучит совершенно аналогично вопросу: "может ли человек породить человека, который не будет враждебен к нему?" Очевидно - да, может, и ежедневно это доказывает. Враждебность тоже возможна, но в редких случаях, и объясняется как раз ошибочными действиями самого породившего.

               

               

Название: Re: Роботехника
Отправлено: Панджшерский Лев от 11/05/2004, 01:39:13

Одно ошибочное действие может свести на нет все безошибочные. У разумных машин возможностей будет больше, чем у разумных людей, отсюда и большая опасность.

               

               

Название: Re: Роботехника
Отправлено: Мунин от 11/05/2004, 01:48:06

У паровой машины возможностей тоже побольше, чем у человека. И на рельсах немало людей погибло. И что из этогоо?

               

               

Название: Re: Роботехника
Отправлено: Панджшерский Лев от 11/05/2004, 02:06:36

Цитата из: Мунин on 11-05-2004, 01:48:06
У паровой машины возможностей тоже побольше, чем у человека. И на рельсах немало людей погибло. И что из этогоо?



Паровая машина не разумна, она не может принимать сложных решений.
И под возможностями понимается далеко не мощность.

               

               

Название: Re: Роботехника
Отправлено: Мунин от 11/05/2004, 02:27:17

А разница?
Слушай, если человек доверит одной машине какие-то супер-ответственные решения, и никак себе задницу не прикроет - это будут сугубо его, человека, проблемы.
Не лучше ситуация, чем когда супер-ответственные решения доверяются одному тирану.
Я считаю, что все эти проблемы решаемые, и они будут решаться по мере их появления, вполне успешно.