Существует клише, что незнание истории заставляет человека повторять ее. Как отмечают умные люди, единственное, чему мы учимся у истории, это то, что мы редко чему-то у нее учимся. Но почему это происходит? И положит ли технология этому конец?
Одна из проблем – забывчивость и “близорукость”: мы не видим, как прошлые события связаны с нынешними, упуская из виду разворачивающуюся картину.
Содержание
Мы не умеем учиться, когда что-то идет не так. Вместо того, чтобы определить, почему решение было ошибочным и как избежать его повторения, мы часто пытаемся игнорировать неприятный поворот событий. Это означает, что в следующий раз, когда возникнет похожая ситуация, мы не заметим сходства и снова повторим ошибку.
Это свидетельствует о проблемах с информацией. Мы не можем быстро извлекать и анализировать уже имеющуюся информацию.
Мы совершаем ошибки, когда не можем сделать эффективный вывод о том, что должно произойти. Возможно, ситуация слишком сложна или требует слишком много времени для обдумывания. Или мы склонны неправильно интерпретировать происходящее.
Раздражающая сила технологий
Но могут ли технологии нам помочь? Сейчас мы можем хранить информацию вне нашего мозга и использовать компьютеры для ее извлечения. Это должно облегчить процесс обучения и запоминания, не так ли?
Хранение информации полезно, если ее можно эффективно извлечь. Но запоминание – это не то же самое, что извлечение файла из известного места или даты. Запоминание предполагает обнаружение сходства и приведение в соответствие с новой ситуацией.
Искусственный интеллект также должен уметь спонтанно вызывать в памяти сходства – часто нежелательные. Но если он хорошо умеет замечать возможные сходства (в конце концов, он может перерыть весь Интернет и все наши личные данные), он также часто будет замечать и ложные.
Например, в случае неудачных свиданий он может отметить, что все они были связаны с ужином. Но проблема никогда не заключалась в ужине. И то, что на столе стояли тюльпаны, было простым совпадением – это не причина больше не брать тюльпаны на свидание.
То есть, он будет предупреждать нас о вещах, которые нас не волнуют, а возможно даже раздражают. Снижение его чувствительности означает увеличение риска не получить предупреждение, когда оно необходимо.
Это фундаментальная проблема, которая в равной степени относится к любому советнику: осторожный советник будет слишком часто кричать “волки!”, оптимистичный советник будет пропускать риски.
Хороший советник – это человек, которому мы доверяем. У них примерно такой же уровень осторожности, как и у нас, и мы знаем, что они понимают, чего мы хотим. Это трудно найти в человеческом советнике, а тем более в искусственном интеллекте.
Где технология может остановить от совершения ошибки? Защита от дурака работает. Машинки для стрижки требуют, чтобы вы удерживали кнопки, держа пальцы подальше от лезвий, например.
Микроволновые печи отключают излучение при открытии дверцы. Чтобы запустить ракеты, два человека должны одновременно повернуть ключи в разных концах комнаты. Здесь тщательное проектирование делает ошибки труднодостижимыми. Но мы не уделяем достаточного внимания менее важным ситуациям, что делает конструкцию гораздо менее защищенной от идиотизма.
Когда технология работает хорошо, мы часто слишком сильно ей доверяем. Сегодня у пилотов авиакомпаний меньше настоящих летных часов, чем в прошлом, благодаря удивительной эффективности систем автопилота. Плохая новость в том, что когда автопилот выходит из строя, у пилота может не хватить опыта для исправления ситуации.
Первая нефтяная платформа нового типа (Sleipnir A) затонула, потому что инженеры доверились программному расчету сил, действующих на нее. Модель оказалась неверной, но она представила результаты в такой убедительной форме, что они выглядели достоверными.
Большая часть наших технологий удивительно надежна. Например, мы не замечаем, как потерянные пакеты данных в Интернете постоянно постоянно обнаруживаются, как коды, исправляющие ошибки, устраняют шумы, или как предохранители и резервирование делают приборы безопасными.
Но когда мы нагромождаем сложности уровень за уровнем, это выглядит очень ненадежно. Мы замечаем, когда видеоролик Zoom притормаживает, программа искусственного интеллекта отвечает неправильно или компьютер дает сбой. Однако спросите любого, кто пользовался компьютером или автомобилем 50 лет назад, как они работали на самом деле, и вы заметите, что они были и менее эффективными, и менее надежными.
Мы усложняем технологию до тех пор, пока она не становится слишком раздражающей или небезопасной для использования. По мере того как детали становятся все лучше и надежнее, мы часто предпочитаем добавлять новые интересные и полезные функции, а не останавливаемся на том, что надежно работает. Это в конечном итоге делает технологию менее надежной, чем она могла бы быть.
Ошибки будут совершаться
Именно поэтому искусственный интеллект является обоюдоострым мечом для предотвращения ошибок. Автоматизация часто делает вещи более безопасными и эффективными, когда она работает корректно, но когда она дает сбой, проблем становится гораздо больше. Автономность означает, что умное программное обеспечение может дополнять наше мышление и разгружать нас, но когда оно думает не так, как мы хотим, оно может вести себя неправильно.
Чем сложнее программа, тем более фантастическими могут быть ошибки. Любой, кто имел дело с высокоинтеллектуальными учеными, знает, как хорошо они могут с большой изобретательностью все испортить, когда их здравый смысл подводит их – а у искусственного интеллекта очень мало человеческого здравого смысла.
Это также является серьезной причиной для беспокойства по поводу того, что искусственный интеллект руководит процессом принятия решений: он совершает новые виды ошибок. Мы, люди, знаем свои человеческие ошибки, а значит, можем их остерегаться. Но умные машины могут совершать ошибки, которые мы даже представить себе не можем.
Более того, системы искусственного интеллекта программируются и обучаются людьми. И есть много примеров того, как такие системы становятся предвзятыми и даже фанатичными. Они имитируют предвзятость и повторяют ошибки человеческого мира, даже если люди явно пытаются их избежать.
В конце концов, ошибки будут повторяться. Существуют фундаментальные причины, почему мы ошибаемся в понимании мира, почему мы не помним всего, что должны помнить, и почему наши технологии не могут идеально помочь нам избежать неприятностей.
Но мы можем работать над тем, чтобы уменьшить последствия ошибок. Кнопка отмены и автосохранение спасли бесчисленные документы на наших компьютерах. Монумент в Лондоне, камни от цунами в Японии и другие памятники напоминают нам об определенных рисках. Хорошая практика проектирования делает нашу жизнь безопаснее.
В конечном итоге, из истории все-таки можно чему-то научиться. Наша цель – выжить и учиться на своих ошибках, а не предотвращать их. Технологии могут помочь нам в этом, но мы должны тщательно продумать, чего мы хотим от них, и соответствующим образом проектировать.
Читайте также: Глава компании Google DeepMind говорит, что искусственный интеллект может стать самосознательным