Тема: Роботехника

[Вацлав›]

(с) Efreet+kidd79

Хочется пообсуждать Три Закона Роботехники, в различных аспектах. В частности, так ли они безупречны с точки зрения логики? Или при желании робот может их обойти (в целом или в части)? Насколько опасна урезанная формулировка первого Закона (без упоминания о "...или своим бездействием")? Ну и еще пара более мелких вопросов, а также все то, что может возникнуть по ходу обсуждения.

               

               

[Вадим›]

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. 2. Робот должен повиноваться командам, которые ему дает человек, кроме тех случаев, когда эти команды противоречат первому закону. 3. Робот должен заботиться о своей безопасности в той мере, в которой это это не противоречит первому и второму законам.

Кажется так. Это из Азимова.

Кстати, насколько я знаю, потом были выдвинуты и другие версии.
Может быть, их тоже имеет смысл привести?

               

               

[Снорри›]

Таак.. это все пошло с моей подачи, так что мне и флаг в одно место.

Итак. Три Закона действительно сформулированы А. Азимовым. Вышеприведеный вариант, ИМХО, с точностью, достаточной для перевода, отражает их классическую формулировку (об изменениях и дополнениях мы поговорим позже, если будет такое желание.

Первый вопрос: Г-н Азимов полагал, что если данные Три Закона есть непреложный императив для робота, то тогда ни один робот не будет представлять угрозы бля человека. В простейших случаях это и правда так (например, робот никогда не сможет стукнуть человека топорм по голове). Вопрос заключается в следующем: возможна ли в принципе ситуация, в которой робот, действующий в строгом соответствии с Тремя Законами, тем не менее осознанно или/и выполняя волю злоумышленника причиняет физический (aka телесный) вред человеку?

При ответе на вопрос прошу опираться исключительно на логику (т. к. робот по поределению не может действовать алогично и иррационально - в чем и состоит его отличие от человека) и учитаывать, что Три Закона для робота есть самый что ни на есть категорический императив - предполагается (по Азимову), что они защиты в материальную структуру позитронного мозга робота (т. е. невозможно существование робота без Трех Законов).

Просты варианты рассмотрены самими Азимовым - так, например, робот не может ограбить банк по приказу человека -  так как это однозначно нанесет вред тем людям, чьи деньги в этом банке хранятся... Но если убедить робота, что вынос под покровом темноты из банка всех денег пойдет только на пользу владчикам банка - робот пойдет грабить, как говорится, "с чувством глубокого удовлетворения".

Высказывайтесь..

               

               

[Нээрэ›]

А если два человека пытаются друг друга убить? Что делать роботу? Бездействием он причинит вред человеку. Действием тоже.

               

               

[Панджшерский Лев›]

А каким образом он причинит им вред своим действием?

               

               

[Dwarf›]

2 Лев: Остановив одного из них и, тем самым, предоставив большую свободу действий другому.

А как интересно отнесётся робот к работе суда? Ведь законы-то подгоняюЦЦа под охрану моральных устоев, а этого робот понят не сможет... Да и вообще всё оч. сильно зависит от того, каков у робота  AI, понимает-ли он, к примеру, необходимость превентивных мер?

               

               

[Снорри›]

Цитата из: Нээрэ on 23-01-2003, 16:42:11
А если два человека пытаются друг друга убить? Что делать роботу? Бездействием он причинит вред человеку. Действием тоже.



Я-робот. Два Хозяина пытаются одновременно убить друг друга (кстати, как именно? это существенно). Еслия я не буду ничего делать, высока вероятность, что погибнут оба, причем оба - по моей вине. Если я попытаюсь остновить одного - возможно, один из них погибнет, но по крайней мере одного я смогу спасти.

Отсюда очевидно, что робот попытается остановить хотя бы одного из людей.

               

               

[Снорри›]

Цитата из: Dwarf on 24-01-2003, 10:26:25
<..skipped..>
А как интересно отнесётся робот к работе суда? Ведь законы-то подгоняюЦЦа под охрану моральных устоев, а этого робот понят не сможет... Да и вообще всё оч. сильно зависит от того, каков у робота  AI, понимает-ли он, к примеру, необходимость превентивных мер?



Я так понял, что имеется в виду в основном уголовное право и то, что с ним сопрягается.

Как юрист, могу сказать, что в идеальном случае (явно не в сегодняшней России. Впрочем, в сегодняшней России и роботов нету) законы ни подо что не подгоняются, а строятся на основе логики и неких общих принципов правосудия.

Далее, поскольку судопроизводство и судебная система есть некий неотъемлемый атрибут любого цивилизованного общества, полагаю, что еще на стадии первоначального обучения (или заливки прошивки, если угодно) роботам объясняют некие элементарные вещи, как-то: занавесками пыль с себя не вытирать; обезъяна - не Хозяин, хотя сходство и есть немалое; суд и наказание в судебном порядке (три года без права переписки. Смертной казни там нету) есть система мер, направленных на предотвращение причинения вреда большинству Хозяев отдельными частично неисправными Хозяевами, так что вмешиваться в это не надо.

               

               

[Снорри›]

Цитата из: Панджшерский Лев on 23-01-2003, 23:53:25
А каким образом он причинит им вред своим действием?



Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?

Классический ответ (азимовский) - это зависит от класса работа. Простейшие роботы (в том числе забиватели гвоздей и выстругиватели деревянных ложек) в такой ситуации "замкнутся", т. е. не смогут сделать выбора и у них перегорят мозги. Роботы более высокого уровня могут делать выбор между меньшим и большим злом, то есть между частичной утратой трудоспособности и гибелью Хозяина.


У Азимова нет ответа на вопрос, может ли какой-нибудь робот решить, что смерть одного Хозяина - меньшее зло, чем смерть двадцати (террорист собирается взорвать автобус с детьми, остновить его можно только убив). Однако у него есть упоминание о роботе, который был готов убить нескольких (2 или 3, не суть) человек, чтобы спасти, как он полагал, все человечество.

               

               

[Вадим›]

Кажется, у того же Азимова мелькала вот ещё какая вещь:

Робот не может определить, что человек врёт. Тогда 'недобросовестный' человек, может ввести робота в заблуждение и заставить его совершить социально опасное деяние ("Если ты мне не принесёшь денег вон из того банка, я не смогу оплатить квартиру, меня выгонят, я простужусь и умру!").

Соответственно, робот может нанести вред человеку не зная (из-за недостатка информации или основываясь на ложной информации), что он его наносит.


               

               

[Мунин›]

Цитата из: kidd 79ый on 24-01-2003, 11:13:45
Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?


Глупости, пусть в пистолет стреляет.

               

               

[Dwarf›]

Боюсь что ничего хорошего из этой идею не выдет, пока мы не сможем привить роботу осознание иерархичности ценностей, которая есть у любого человека и опираясь на которую любой человек уже выстраивает свою этическую сетку.

               

               

[Dwarf›]

Цитата из: му-нин - Плохая Рыба on 24-01-2003, 11:46:04

Цитата из: kidd 79ый on 24-01-2003, 11:13:45
Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?


Глупости, пусть в пистолет стреляет.


Перестань придирацца... Да и вообще пистолет находится не на линии огня робота!  

               

               

[Снорри›]

Цитата из: Вадим on 24-01-2003, 11:18:56
Кажется, у того же Азимова мелькала вот ещё какая вещь:

Робот не может определить, что человек врёт. Тогда 'недобросовестный' человек, может ввести робота в заблуждение и заставить его совершить социально опасное деяние ("Если ты мне не принесёшь денег вон из того банка, я не смогу оплатить квартиру, меня выгонят, я простужусь и умру!").

Соответственно, робот может нанести вред человеку не зная (из-за недостатка информации или основываясь на ложной информации), что он его наносит.


Совершенно верно, у Азимова такое встречалось. другое дело, что "обманывать" робота должен специально подготовленный человек, разбирающийся в особенностях робопсихологии (ибо на примитивные разводки робот не пойдет - он очень логично мыслит, во-первых, и все ж таки не так наивен, как об этом почему-то думают). Но такие случаи науке все же известны.

Я же ставил вопрос (плохо его сформулировав) о том, может ли робот причинить вред человеку _осознанно_, т. е. понимая, что он именно причиняет вред человеку. При этом (надо было это яснее написать) он должен причинять этот вред не для предотвращения другого вреда, а, так сказать, ради вреда как такового (в личных целях, или просто от нечего делать).

Цитата из: Dwarf on 24-01-2003, 11:51:33

Цитата из: му-нин - Плохая Рыба on 24-01-2003, 11:46:04

Цитата из: kidd 79ый on 24-01-2003, 11:13:45
Хоть уже и ответили, но расширю: вообще-то, это зависит от ситуации. Один пример тебе уже привели. Другой пример - робот-забиватель гвоздей с гвоздометом вместо правой руки, видит, что с 30 метрах от него один Хозяин целится в другого из пистолета. Ничем, кроме как выстрелом гвоздя в руку, робот его остановить не сможет. Должен ли он так поступить?


Глупости, пусть в пистолет стреляет.


Перестань придирацца... Да и вообще пистолет находится не на линии огня робота!  



Вот именно. Я говорю именно о той ситуации, когда предотвратить гибель одного человека можно только причинением телесного повреждения другому человеку. Человек ведь может стоять так, что в пистолет роботу не попасть. В конце концов, это может быть трансгенный дезинтегратор на позитронных куаторах. Который, как известно любому здравомыслящему человеку, для использования надо целиком зажать в кулаке.

               

               

[Мунин›]

Самая главная проблема здесь в том, что у робота нет полной информации о возможных последствиях его поступка. И быть не может.

               

               

[Dwarf›]

Цитата из: му-нин - Плохая Рыба on 24-01-2003, 13:25:37
Самая главная проблема здесь в том, что у робота нет полной информации о возможных последствиях его поступка. И быть не может.



А вот конкретно с этим, виз ол дью респект, позвольте не согласиться. Робот, со своими возможностями к просчёту ситуаций (аналог шахмат), может предугадать возможные последствия гораздо точнее нежели хомо сапиенс.

               

               

[Вадим›]

По поводу способности роботов (компьютеров) предугадывать последствия лучше людей - это великое заблуждение (с которым мне на работе постоянно приходится сталкиваться).

Для того, чтобы прийти к правильным выводам (адекватно, верно просчитать/предсказать ситуацию) надо иметь правильные и полные исходные данные.

Почему-то существует стереотип, что робот по определению знает больше человека. Почему?
Робот - функционален (тут недавно проходила тема "Профи" - так вот, робот - это супер-профи), он знает только то, что нужно ему для выполнения его задачи. Его алгоритмы касаются только его задачи. Ничего лишнего!

Робот, умеющий расчитать движение космического корабля, понятия не имеет о банковской системе, или, например, о анатомии человека. Всё, что ему нужно - это модель, для которой указано, на какое событие (из ограниченного списка) как она реагирует (для того, чтоб не раздавить пассажиров перегрузкой).

Учитывая, что робот готов воспринимать человека, как априори авторитетное существо (кстати, а почему в законах нет этого? и имеет ли это значение?), человеку очень легко "запудрить мозги" роботу, аппелируя к областям, которые лежат вне границ знаний робота.

               

               

[Dwarf›]

Погодь, Вадим, а что нам мешает забить в БД одного и того-же робота немеряное количество информации обо всём? Опять-же наградить его правильными исходными данными мы сможем. Другой вопрос, что пользуясь этими данными и логикой робот не всегда сможет найти оптимальный с точки зрения человека выход, ибо, опять-же, человек зачастую опирается на нормы морали при принятии каких-то решений, а вот это забить в голову робота просто невозможно. =(


ЗЫ И ещё, интересно мне стало, а как робот решилбы проблему буриданова осла (надеюсь я не описалься)

               

               

[Мунин›]

И сделаете вы человека, несовершенного, со всеми его потрохами и нравственными терзаниями...

               

               

[I_3am›]

Цитата из: Dwarf on 25-01-2003, 12:10:30
 И ещё, интересно мне стало, а как робот решилбы проблему буриданова осла (надеюсь я не описалься)


На этот случай у него должен быть вариант случайного(псевдослучайного) выбора - орел или решка. Но роботы, описанные Азимовым, по-моему, были лишены такой возможности, когда ситуация требовала применения Законов роботехники. Помните рассказ о роботе, умевшем читать мысли?
Перегорел ведь бедолага.
Цитата из: Вадим on 24-01-2003, 11:18:56
Тогда 'недобросовестный' человек, может ввести робота в заблуждение и заставить его совершить социально опасное деяние


Не только человек. Другой робот тоже. Помните рассказ о роботе, у которого законы были заданы в неполном виде.