Искусственный интеллект и ученые соревнуются кто предложит лучшие идеи

Научные прорывы опираются на десятилетия кропотливой работы и экспертных знаний, приправленные проблесками гениальности и, порой, счастливыми случайностями. Но что, если бы мы могли ускорить этот процесс?

Творчество играет ключевую роль в исследовании новых научных идей. Оно не возникает из ниоткуда: ученые тратят десятилетия на изучение своей области. Каждый фрагмент информации подобен кусочку головоломки, который можно переставить, чтобы создать новую теорию — например, о том, как различные методы борьбы со старением сходятся воедино, или как иммунная система регулирует деменцию или рак, что может привести к разработке новых методов лечения.

Инструменты искусственного интеллекта (ИИ) могли бы ускорить этот процесс. В предварительном исследовании команда из Стэнфорда столкнула большую языковую модель (LLM) — тип алгоритма, лежащего в основе ChatGPT — с экспертами-людьми в генерации новых идей по ряду исследовательских тем в области ИИ. Каждую идею оценивала группа экспертов, не знавших, исходит ли она от ИИ или от человека.

Результаты исследования

В целом идеи, сгенерированные ИИ, оказались более нестандартными, чем предложенные экспертами-людьми. Однако их также оценили как менее вероятные для реализации. Это не обязательно проблема. Новые идеи всегда сопряжены с рисками. В некотором смысле, искусственный интеллект рассуждал как ученые-люди, готовые опробовать идеи с высокими ставками и высокими наградами, предлагая концепции на основе предыдущих исследований, но чуть более креативные.

Это исследование, длившееся почти год, является одним из крупнейших на сегодняшний день по проверке потенциала LLM в научных исследованиях.

Искусственный интеллект как ученый

Большие языковые модели, алгоритмы ИИ, захватывающие мир, активизируют академические исследования.

Эти алгоритмы собирают данные из цифрового мира, изучают закономерности в них и используют эти паттерны для выполнения различных специализированных задач. Некоторые алгоритмы уже помогают ученым-исследователям. Одни могут решать сложные математические задачи. Другие “придумывают” новые белки для борьбы с нашими худшими проблемами со здоровьем, включая болезнь Альцгеймера и рак.

Хотя это полезно, такие инструменты помогают только на последнем этапе исследования — когда у ученых уже есть идеи. А как насчет использования ИИ для направления новой идеи с самого начала?

Искусственный интеллект уже может помогать в написании научных статей, генерировать код и искать научную литературу. Эти шаги похожи на то, как ученые начинают накапливать знания и формировать идеи на основе того, что они узнали.

Некоторые из этих идей очень креативны в том смысле, что могут привести к нестандартным теориям и приложениям. Но творчество субъективно. Один из способов оценить потенциальное влияние и другие факторы исследовательских идей — привлечь человека-судью, не знающего деталей эксперимента.

“Лучший способ для нас понять такие возможности — провести прямое сравнение” между ИИ и экспертами-людьми, — сказал автор исследования Ченглей Си.

Методология исследования

Команда привлекла более 100 специалистов по компьютерным наукам с опытом в области обработки естественного языка для генерации идей, выступления в роли судей или обоих вариантов. Эти эксперты особенно хорошо разбираются в том, как компьютеры могут общаться с людьми, используя повседневный язык. Команда противопоставила 49 участников современной LLM, основанной на Claude 3.5 от Anthropic. Ученые получали 300 долларов за идею плюс дополнительные 1000 долларов, если их идея попадала в топ-5 в целом.

Креативность, особенно когда речь идет о научных идеях, трудно оценить. Команда использовала два критерия. Во-первых, они рассмотрели сами идеи. Во-вторых, они попросили искусственный интеллект и участников подготовить краткие изложения, просто и ясно объясняющие идеи — немного похоже на школьный доклад.

Они также попытались уменьшить “галлюцинации” ИИ — когда бот отклоняется от фактов и начинает выдумывать.

Команда обучила свой искусственный интеллект на обширном каталоге исследовательских статей в этой области и попросила его генерировать идеи по каждой из семи тем. Чтобы отфильтровать сгенерированные идеи и выбрать лучшие, команда разработала автоматический “ранжировщик идей” на основе предыдущих обзоров данных и принятия к публикации на популярной конференции по компьютерным наукам.

Оценка идей

Чтобы сделать тест честным, судьи не знали, какие ответы были от ИИ. Для маскировки команда перевела представленные работы от людей и ИИ в общий тон с помощью другой LLM. Судьи оценивали идеи по новизне, увлекательности и, что наиболее важно, по возможности их реализации.

После обобщения отзывов команда обнаружила, что в среднем идеи, сгенерированные экспертами-людьми, были оценены как менее захватывающие, чем идеи ИИ, но более осуществимые. Однако по мере того, как искусственный интеллект генерировал больше идей, он становился менее оригинальным, все чаще создавая дубликаты. Просеивая почти 4000 идей ИИ, команда нашла около 200 уникальных, заслуживающих дальнейшего изучения.

Но многие из них оказались ненадежными. Часть проблемы заключается в том, что искусственный интеллект делал нереалистичные предположения. Он “галлюцинировал” идеи, которые были “необоснованными и независимыми от данных”, на которых он был обучен, написали авторы. LLM генерировала идеи, которые звучали новаторски и захватывающе, но не обязательно были практичными для исследований в области ИИ, часто из-за проблем с задержкой или аппаратным обеспечением.

“Наши результаты действительно указывают на некоторые компромиссы в осуществимости идей ИИ”, — написала команда.

Заключение и перспективы

Новизну и креативность тоже трудно оценить. Хотя в исследовании попытались снизить вероятность того, что судьи смогут определить, какие работы были от ИИ, а какие от человека, переписывая их с помощью LLM, как в игре в “испорченный телефон”, изменения в длине или формулировках могли незаметно повлиять на восприятие судьями этих работ — особенно в отношении новизны. Кроме того, исследователям, которых попросили придумать идеи, дали ограниченное время для этого. Они признали, что их идеи были примерно средними по сравнению с их прошлыми работами.

Команда согласна, что предстоит еще многое сделать в плане оценки генерации новых исследовательских идей с помощью ИИ. Они также отметили, что инструменты ИИ несут риски, заслуживающие внимания.

“Интеграция ИИ в генерацию исследовательских идей вводит сложную социотехническую задачу”, — заявили они. “Чрезмерная зависимость от ИИ может привести к снижению оригинальности человеческой мысли, в то время как растущее использование LLM для генерации идей может уменьшить возможности для человеческого сотрудничества, которое необходимо для уточнения и расширения идей”.

Тем не менее, новые формы сотрудничества человека и ИИ, включая идеи, сгенерированные ИИ, могут быть полезны для исследователей при изучении и выборе новых направлений своих исследований.

Читайте также: Создаст ли искусственный интеллект новые рабочие места или отправит нас на свалку истории, как лошадей?