Loading AI tools
Поясненний Штучний Інтелект, або Інтерпретовний Штучний Інтелект, або Зрозуміле Машинне Навчання,[1] — це штучний інтелект (ШІ), в якому результати рішення можуть бути зрозумілі людині. Це контрастує з концепцією «чорного ящика» в машинному навчанні, де навіть його розробники не можуть пояснити, чому ШІ прийшов до конкретного рішення.[2] Удосконалюючи ментальні моделі користувачів систем на базі штучного інтелекту та розбираючи їхні помилкові уявлення, Поясненний ШІ обіцяє допомогти користувачам працювати більш ефективно.[3] Поясненний ШІ може бути реалізацією соціального права на пояснення[en].[4] Поясненний ШІ актуальний, навіть якщо немає юридичних прав або нормативних вимог — наприклад, Поясненний ШІ може покращити користувацьку взаємодію з продуктом або послугою, допомагаючи кінцевим користувачам вірити, що ШІ приймає правильні рішення. Таким чином, мета Поясненного ШІ — пояснити, що було зроблено, що зроблено зараз, що буде зроблено далі, та розкрити інформацію, на якій базуються дії.[5] Ці характеристики дозволяють (i) підтвердити наявні знання (ii) кинути виклик існуючим знанням і (iii) створити нові припущення.[6]
Алгоритми, що використовуються в ШІ, можна розрізнити на алгоритми машинного навчання(МН) білого ящика і чорного ящика. Моделі білого ящика — це моделі машинного навчання, які забезпечують результати, зрозумілі для експертів у даній області. З іншого боку, моделі «чорних ящиків» надзвичайно важко пояснити і навряд чи можуть бути зрозумілі навіть експертам в області.[7] Вважається, що алгоритми Поясненного ШІ дотримуються трьох принципів прозорості, інтерпретації та пояснення. Прозорість надається, «якщо процеси, які витягують параметри моделі з навчальних даних і генерують мітки з даних тестування, можуть бути описані та мотивовані розробником підходу».[8] Інтерпретація описує можливість зрозуміти модель машинного навчання і представити основну основу для прийняття рішень у спосіб, зрозумілий для людей.[9][10][11] Пояснення — це поняття, яке визнається важливим, але спільного визначення поки немає.[8] Припускається, що пояснюваність у машинному навчанні можна розглядати як «набір ознак інтерпретованого домену, які внесли для даного прикладу внесок у прийняття рішення (наприклад, класифікацію чи регресію)».[12] Якщо алгоритми відповідають цим вимогам, вони забезпечують основу для обґрунтування рішень, відстеження та, таким чином, їх перевірки, вдосконалення алгоритмів та дослідження нових фактів.[13]
Іноді також можна досягти результату з високою точністю за допомогою алгоритму машинного навчання з білим ящиком, який сам по собі інтерпретується.[14] Це особливо важливо в таких галузях, як медицина, оборона, фінанси та право, де дуже важливо розуміти рішення та зміцнювати довіру до алгоритмів.[5]
Системи штучного інтелекту оптимізують поведінку, щоб задовольнити математично визначену систему цілей, вибрану розробниками системи, наприклад команду «максимізувати точність оцінки позитивних рецензій на фільми в тестовому наборі даних». ШІ може засвоїти корисні загальні правила з тестового набору, наприклад, «відгуки, що містять слово „жахливий“, імовірно, будуть негативними». Однак він також може засвоїти невідповідні правила, наприклад, «відгуки, що містять» Дніел Дей-Льюїс «, зазвичай позитивні»; такі правила можуть бути небажаними, якщо вважається, що вони не зможуть узагальнити за межами тестового набору, або якщо люди вважають правило «шахрайським» або «несправедливим». Людина може перевіряти правила в Поясненному ШІ, щоб отримати уявлення про те, наскільки ймовірно, що система узагальнить майбутні дані реального світу за межами тестового набору.[15]
Співпраця між агентами, в даному випадку алгоритмами та людьми, залежить від довіри. Якщо люди хочуть прийняти алгоритмічні приписи, вони повинні їм довіряти. Неповнота формалізації критеріїв довіри є перешкодою для прямих підходів до оптимізації. З цієї причини інтерпретація та пояснюваність поставлені як проміжні цілі для перевірки інших критеріїв.[16]
Системи штучного інтелекту іноді вивчають небажані трюки, які оптимально виконують завдання, щоб задовольнити явні заздалегідь запрограмовані цілі на даних навчання, але які не відображають складних неявних бажань розробників людських систем. Наприклад, система 2017 року, якій поставлено завдання розпізнавання зображень, навчилася «шахрайства», шукаючи тег авторського права, який був пов'язаний із зображеннями коней, замість того, щоб дізнатися, чи дійсно кінь зображений.[2] В іншій системі 2017 року штучний інтелект із керованим навчанням, якому було поставлено завдання захоплювати предмети у віртуальному світі, навчився обманювати, розташувавши свій маніпулятор між об'єктом і глядачем таким чином, що здавалося, що він помилково захоплює об'єкт.[17][18]
Один із проектів прозорості, програма DARPA XAI, має на меті створити моделі «скляної коробки», які можна пояснити «людині в петлі», без значної шкоди для роботи ШІ. Користувачі-люди повинні мати можливість розуміти пізнання ШІ (як у реальному часі, так і після факту) і повинні мати можливість визначити, коли довіряти ШІ, а коли — недовіряти.[19] Іншими застосуваннями XAI є вилучення знань із моделей чорного ящика та порівняння моделей.[20] Термін «скляна коробка» також використовувався для інструментів, які відстежують вхідні та вихідні дані системи, з метою перевірки дотримання системи етичним і соціально-правовим цінностям і, отже, створення пояснень на основі цінностей.[21] Крім того, цей самий термін використовувався для назви голосового помічника, який видає контрфактичні заяви як пояснення.[22]
Протягом 1970-1990-х років були досліджені символічні системи міркування, такі як MYCIN,[23] GUIDON,[24] SOPHIE,[25] і PROTOS[26][27],
які могли представляти, міркувати та пояснювати свої міркування для діагностики., цілі навчання або машинного навчання (навчання на основі пояснень). MYCIN, розроблений на початку 1970-х років як дослідницький прототип для діагностики бактеріємних інфекцій кровотоку, міг би пояснити[28], які з його закодованих вручну правил сприяли встановленню діагнозу в конкретному випадку. Дослідження інтелектуальних систем репетиторства призвело до розробки таких систем, як SOPHIE, які могли б діяти як «виразний експерт», пояснюючи стратегію вирішення проблем на рівні, зрозумілому студентам, щоб вони знали, які дії слід зробити далі. Наприклад, SOPHIE могла б пояснити якісні міркування, які стоять за її усуненням несправностей в електроніці, навіть незважаючи на те, що вона в кінцевому підсумку покладалася на симулятор схеми SPICE . Аналогічно, GUIDON додав навчальні правила, щоб доповнити правила на рівні домену MYCIN, щоб пояснити стратегію медичної діагностики. Символічні підходи до машинного навчання, особливо ті, що покладаються на навчання на основі пояснень, такі як PROTOS, явно покладалися на уявлення пояснень, як для пояснення своїх дій, так і для отримання нових знань.
З 1980-х до початку 1990-х років були розроблені системи підтримки істини (TMS), щоб розширити можливості причинно-наслідкових, заснованих на правилах і логічних систем висновків.[29] TMS діє, щоб чітко відстежувати альтернативні лінії міркувань, обґрунтування висновків і лінії міркувань, які призводять до суперечностей, дозволяючи майбутнім міркуванням уникнути цих тупиків. Щоб надати пояснення, вони відстежують міркування від висновків до припущень за допомогою операцій правил або логічних висновків, що дозволяє генерувати пояснення на основі слідів міркувань. Як приклад розглянемо розв'язувач задач на основі правил із лише кількома правилами про Сократа, який робить висновок, що він помер від отрути: Просто простеживши структуру залежностей, розв'язувач задачі може побудувати таке пояснення: «Сократ помер, тому що він був смертним і випив отруту, і всі смертні вмирають, коли п'ють отруту. Сократ був смертним, тому що він був людиною, а всі люди смертні. Сократ пив отруту, тому що він дотримувався дисидентських переконань, уряд був консервативним, а ті, хто дотримується консервативних дисидентських переконань при консервативних урядах, повинні пити отруту». У 1990-х роках дослідники також почали вивчати, чи можна осмислено витягти не закодовані вручну правила, які генеруються непрозорими навченими нейронними мережами.[30] Дослідники клінічних експертних систем, які створюють підтримку прийняття рішень на основі нейронних мереж для клініцистів, намагалися розробити динамічні пояснення, які дозволять цим технологіям бути більш довіреними та надійними на практиці.[4] У 2010-х роках занепокоєння громадськості з приводу расової та іншої упередженості у використанні штучного інтелекту для ухвалення кримінальних вироків і висновків про кредитоспроможність, можливо, призвели до збільшення попиту на прозорий штучний інтелект.[2] У результаті багато науковців та організацій розробляють інструменти, які допомагають виявляти упередженість у своїх системах.[31]
Марвін Мінський та ін. підняв питання про те, що ШІ може функціонувати як форма спостереження з упередженнями, властивими нагляду, запропонувавши HI (гуманістичний інтелект) як спосіб створити більш справедливий і збалансований ШІ «людина в петлі».[32]
Сучасні складні методи штучного інтелекту, такі як глибоке навчання та генетичні алгоритми, природно непрозорі.[33] Для вирішення цієї проблеми було розроблено багато нових методів, щоб зробити нові моделі більш зрозумілими та інтерпретованими.[34][10][35][36]
Це включає багато методів, таких як Layerwise relevance propagation (LRP), метод визначення того, які ознаки в певному вхідному векторі найбільше сприяють виведенню нейронної мережі.[37][38][39]
Інші методи були розроблені для пояснення одного конкретного прогнозу, зробленого (нелінійною) моделлю чорного ящика, ціль, яку називають «локальною інтерпретацією».[40][41][42][43][44][45]
Варто зазначити, що просто перенесення концепцій локальної інтерпретації у віддалений контекст (де модель чорного ящика виконується третьою стороною) зараз перебуває під прицілом.[46][47]
Крім того, була робота над створенням моделей скляних коробок, які були б більш прозорими для огляду.[48][49]
Це включає дерева рішень,[50] байєсівські мережі, розріджені лінійні моделі[51] тощо.[52] Конференція Асоціації обчислювальної техніки з питань справедливості, підзвітності та прозорості (ACM FAccT) була заснована в 2018 році для вивчення прозорості та зрозумілості в контексті соціально-технічних систем, багато з яких включають штучний інтелект.[53][54]
Деякі методи дозволяють візуалізувати вхідні дані, на які найсильніше реагують окремі програмні нейрони . Декілька груп виявили, що нейрони можуть бути об'єднані в схеми, які виконують зрозумілі людині функції, деякі з яких надійно виникають у різних мережах, які навчаються незалежно.[55][56]
На вищому рівні існують різні методи для вилучення стислих представлень характеристик заданих вхідних даних, які потім можна аналізувати за допомогою стандартних методів кластеризації . Крім того, мережі можна навчити виводити лінгвістичні пояснення своєї поведінки, які потім безпосередньо інтерпретуються людиною.[57] Поведінку моделі також можна пояснити з посиланням на навчальні дані, наприклад, оцінивши, які вхідні дані для навчання найбільше вплинули на дану поведінку.[58]
Оскільки регуляторні органи, офіційні органи та звичайні користувачі починають залежати від динамічних систем на основі штучного інтелекту, буде потрібна чіткіша підзвітність для автоматизованих процесів прийняття рішень, щоб забезпечити довіру та прозорість. Свідченням того, що ця вимога набирає все більше обертів, можна побачити запуск першої глобальної конференції, виключно присвяченої цій новітній дисципліні, Міжнародної спільної конференції зі штучного інтелекту: семінар з пояснюваного ШІ.[59]
Європейський Союз запровадив право на роз'яснення в Загальному праві на захист даних (GDPR) як спробу вирішити потенційні проблеми, пов'язані зі зростанням важливості алгоритмів. Реалізація розпорядження розпочалася у 2018 році. Однак право на пояснення в GDPR охоплює лише місцевий аспект інтерпретації. У Сполучених Штатах страхові компанії повинні мати можливість пояснити свої рішення щодо тарифів і покриття.[60]
Нещодавні дослідження припускають, що прагнення до пояснення методів ШІ слід вважати другорядною метою для досягнення ефективності ШІ, і що заохочення ексклюзивного розвитку Поясненного ШІ може ширше обмежити функціональність ШІ.[61][62] Критика Поясненного ШІ спирається на розроблені концепції механістичного та емпіричного міркування з доказової медицини, щоб припустити, що технології ШІ можуть бути клінічно підтверджені, навіть якщо їх функції не можуть бути зрозумілі їхніми операторами.[61]
Більше того, системи Поясненного ШІ в першу чергу зосереджені на тому, щоб зробити системи штучного інтелекту зрозумілими для практиків AI, а не для кінцевих користувачів, і їхні результати щодо сприйняття користувачами цих систем були дещо фрагментовані.[63] Деякі дослідники також виступають за використання інтерпретованих моделей машинного навчання, а не використання пост-хос пояснень, коли для пояснення першої створюється друга модель. Почасти це пов'язано з тим, що пост-спеціальні моделі збільшують складність на шляху прийняття рішень, а почасти тому, що часто неясно, наскільки достовірно спеціальне пояснення може імітувати обчислення цілком окремої моделі.[14]
Поясненного ШІ досліджували в багатьох секторах, включаючи:
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
