Мы применяем куки на сайте, вы соглашаетесь на использование файлов cookie. Подробнее
OK
Взлом ‘Империи искусственного интеллекта’: автор Карен Хао о власти, данных и гонке за созданием сверхразума
Новая книга Хао " Империя искусственного интеллекта" рассказывает о развитии генеративного искусственного интеллекта изнутри, прослеживая не только экономические и политические мотивы роста таких компаний, как OpenAI, но и незаметные технические решения, которые изменили саму науку. “Даже OpenAI не всегда знает, что содержится в их наборах для обучения. Данные слишком велики, чтобы проверять их вручную ”.
В начале 2019 года в мире искусственного интеллекта произошел незаметный, но значительный сдвиг. OpenAI, ключевой игрок в этой области, начала отходитьот своего прежнего акцента на открытые исследования. Со временем доступ к ее наборам данных сужался, находить подробности о методах обучения становилось все труднее, а внутренняя работа становилась все более закрытой. То, что в то время казалось обычным изменением направления, впоследствии станет поворотным моментом для искусственного интеллекта, изменив способы распространения, разработки и обсуждения результатов исследований во всем мире.
“Их наборы данных больше не доступны для обозрения”, - говорит Карен Хао, давний наблюдатель в этой области и бывший старший редактор отдела искусственного интеллекта MIT Technology Review, в интервью IBM Think.
Новая книга Хао " Империя искусственного интеллекта" рассказывает о развитии генеративного искусственного интеллекта изнутри, прослеживая не только экономические и политические мотивы роста таких компаний, как OpenAI, но и незаметные технические решения, которые изменили саму науку. “Даже OpenAI не всегда знает, что содержится в их наборах для обучения. Данные слишком велики, чтобы проверять их вручную ”.
Для стороннего наблюдателя это признание может показаться банальным. Но для исследователей неспособность надежно охарактеризовать или воспроизвести данные, используемые для обучения модели, подрывает сами основы дисциплины. На протяжении десятилетий машинное обучение зависело от простого научного принципа: воспроизводимости. Модель должна вести себя точно так же, если обучаться в одинаковых условиях. Но с сегодняшними массивными, не обработанными наборами данных эти условия часто непознаваемы.
“Их наборы данных больше не доступны для обозрения”, - говорит Карен Хао, давний наблюдатель в этой области и бывший старший редактор отдела искусственного интеллекта MIT Technology Review, в интервью IBM Think.
Новая книга Хао " Империя искусственного интеллекта" рассказывает о развитии генеративного искусственного интеллекта изнутри, прослеживая не только экономические и политические мотивы роста таких компаний, как OpenAI, но и незаметные технические решения, которые изменили саму науку. “Даже OpenAI не всегда знает, что содержится в их наборах для обучения. Данные слишком велики, чтобы проверять их вручную ”.
Для стороннего наблюдателя это признание может показаться банальным. Но для исследователей неспособность надежно охарактеризовать или воспроизвести данные, используемые для обучения модели, подрывает сами основы дисциплины. На протяжении десятилетий машинное обучение зависело от простого научного принципа: воспроизводимости. Модель должна вести себя точно так же, если обучаться в одинаковых условиях. Но с сегодняшними массивными, не обработанными наборами данных эти условия часто непознаваемы.
Крах воспроизводимости
В начале 2019 года в мире искусственного интеллекта произошел незаметный, но значительный сдвиг. OpenAI, ключевой игрок в этой области, начала отходитьот своего прежнего акцента на открытые исследования. Со временем доступ к ее наборам данных сужался, находить подробности о методах обучения становилось все труднее, а внутренняя работа становилась все более закрытой. То, что в то время казалось обычным изменением направления, впоследствии станет поворотным моментом для искусственного интеллекта, изменив способы распространения, разработки и обсуждения результатов исследований во всем мире.
“Их наборы данных больше не доступны для обозрения”, - говорит Карен Хао, давний наблюдатель в этой области и бывший старший редактор отдела искусственного интеллекта MIT Technology Review, в интервью IBM Think.
Новая книга Хао " Империя искусственного интеллекта" рассказывает о развитии генеративного искусственного интеллекта изнутри, прослеживая не только экономические и политические мотивы роста таких компаний, как OpenAI, но и незаметные технические решения, которые изменили саму науку. “Даже OpenAI не всегда знает, что содержится в их наборах для обучения. Данные слишком велики, чтобы проверять их вручную ”.
Для стороннего наблюдателя это признание может показаться банальным. Но для исследователей неспособность надежно охарактеризовать или воспроизвести данные, используемые для обучения модели, подрывает сами основы дисциплины. На протяжении десятилетий машинное обучение зависело от простого научного принципа: воспроизводимости. Модель должна вести себя точно так же, если обучаться в одинаковых условиях. Но с сегодняшними массивными, не обработанными наборами данных эти условия часто непознаваемы.
В большинстве эмпирических наук воспроизводимость является лакмусовой бумажкой строгости. Химический эксперимент, который невозможно воспроизвести, вызывает подозрение. Медицинское исследование с неотслеживаемыми исходными данными вряд ли пройдет экспертную оценку. В области искусственного интеллекта воспроизводимость традиционно зависит от публикации исследователями не только архитектуры своих моделей и параметров обучения, но и точных наборов данных, используемых для обучения этих моделей. Эти наборы данных, будь то коллекции изображений, аудиозаписей или текстовых документов, формируют основу того, что знают модели, и того, как они обобщают новые исходные данные.
В начале 2010-х годов эта модель открытости была нормой. Академические лаборатории и корпоративные исследователи делились своими обучающими программами, описывали этапы предварительной обработки и сравнивали тесты с общими стандартами. Но к 2020 году ситуация изменилась. Поскольку такие компании, как OpenAI, начали более агрессивно конкурировать за коммерческое преимущество, практика совместного использования наборов данных вышла из моды.
Этот сдвиг касался не только интеллектуальной собственности. Как отмечает Хао, огромный размер современных обучающих наборов данных, часто содержащих сотни миллиардов токенов, извлеченных из Интернета, сделал практически невозможным их тщательное документирование. Компании начали полагаться на автоматизированные инструменты очистки и фильтрации для сбора своих наборов данных. Однако эти инструменты были неспособны обнаруживать тонкие проблемы, и они привнесли новый уровень неопределенности в процесс обучения.
Показательный случай был представлен исследователями из Стэнфордского университета, которые провели аудит широко используемого набора данных изображений LAION-5B. Несмотря на то, что набор данных был общедоступным, он содержал тысячи подтвержденных материалов о сексуальном насилии над детьми или предполагаемых материалах о сексуальном насилии над детьми. Это открытие было сделано спустя годы после того, как набор данных свободно циркулировал и уже использовался для обучения генераторов коммерческих изображений. Этот эпизод послужил тревожным звонком. Если в открытый набор данных можно было вложить столько вреда, что же могло таиться в закрытых?
“Мы больше не можем даже гарантировать разделение тестовых обучений”, - объясняет Хао, имея в виду базовую методологическую практику машинного обучения.
В типичной системе искусственного интеллекта набор данных разделен на две части: одна часть используется для обучения модели, а другая - для тестирования ее производительности. Это помогает измерить точность модели на данных, которых она раньше не видела. Но когда набор данных настолько велик и непрозрачен, что его содержимое фактически неизвестно, возникает риск появления дублирующегося содержимого в обоих наборах, что затруднит оценку и увеличит показатели производительности.
В результате область все больше зависит от веры, а не от проверки. “Она стала скорее алхимической, чем научной”, - говорит Хао. “Мы вкладываем в модель больше вычислений и данных и надеемся, что что-то получится”.
Не все стремились к масштабированию. Как описывает это Хао, еще одно незаметное движение произошло со стороны исследователей, которые пошли другим путем. Вместо того, чтобы стремиться ко все большим базам данных, они занялись небольшими наборами отобранных вручную данных. Важно было не то, сколько у них было данных, а то, как эти данные отражали нюансы языка, диапазон человеческого опыта и императивы справедливости.
В то время как отрасль стремилась к большему, она также задавалась вопросом, что было упущено на этом пути. DeepSpeech от Mozilla, например, был проектом по распознаванию речи, построенным на аудиоклипах, предоставленных пользователями с полного согласия. Каждый клип просматривался вручную и помечался тегами, при этом были приложены значительные усилия для уточнения набора данных, чтобы обеспечить четкость и разнообразие с точки зрения голосов, акцентов и лингвистических паттернов.
Аналогичным образом, языковая модель BLOOM, разработанная глобальным исследовательским консорциумом под руководством Hugging Face, обучалась на общедоступных наборах данных, собранных с учетом лингвистического, географического и тематического разнообразия. Каждый источник был задокументирован. Были приглашены аудиты сообщества. В отличие от непрозрачных базовых моделей, BLOOM сделала свою методологию обучения понятной.
Но такие усилия все больше отодвигаются на второй план. По словам Хао, преобладающая отраслевая логика сейчас благоприятствует масштабированию. Большие модели, обученные на больших наборах данных, как правило, демонстрируют новые свойства, такие как сложные рассуждения или генерация кода, даже без настройки под конкретную задачу. Это побуждает команды отказываться от тщательного проектирования данных в пользу извлечения всего, что они могут.
“Их наборы данных больше не доступны для обозрения”, - говорит Карен Хао, давний наблюдатель в этой области и бывший старший редактор отдела искусственного интеллекта MIT Technology Review, в интервью IBM Think.
Новая книга Хао " Империя искусственного интеллекта" рассказывает о развитии генеративного искусственного интеллекта изнутри, прослеживая не только экономические и политические мотивы роста таких компаний, как OpenAI, но и незаметные технические решения, которые изменили саму науку. “Даже OpenAI не всегда знает, что содержится в их наборах для обучения. Данные слишком велики, чтобы проверять их вручную ”.
Для стороннего наблюдателя это признание может показаться банальным. Но для исследователей неспособность надежно охарактеризовать или воспроизвести данные, используемые для обучения модели, подрывает сами основы дисциплины. На протяжении десятилетий машинное обучение зависело от простого научного принципа: воспроизводимости. Модель должна вести себя точно так же, если обучаться в одинаковых условиях. Но с сегодняшними массивными, не обработанными наборами данных эти условия часто непознаваемы.
В большинстве эмпирических наук воспроизводимость является лакмусовой бумажкой строгости. Химический эксперимент, который невозможно воспроизвести, вызывает подозрение. Медицинское исследование с неотслеживаемыми исходными данными вряд ли пройдет экспертную оценку. В области искусственного интеллекта воспроизводимость традиционно зависит от публикации исследователями не только архитектуры своих моделей и параметров обучения, но и точных наборов данных, используемых для обучения этих моделей. Эти наборы данных, будь то коллекции изображений, аудиозаписей или текстовых документов, формируют основу того, что знают модели, и того, как они обобщают новые исходные данные.
В начале 2010-х годов эта модель открытости была нормой. Академические лаборатории и корпоративные исследователи делились своими обучающими программами, описывали этапы предварительной обработки и сравнивали тесты с общими стандартами. Но к 2020 году ситуация изменилась. Поскольку такие компании, как OpenAI, начали более агрессивно конкурировать за коммерческое преимущество, практика совместного использования наборов данных вышла из моды.
Этот сдвиг касался не только интеллектуальной собственности. Как отмечает Хао, огромный размер современных обучающих наборов данных, часто содержащих сотни миллиардов токенов, извлеченных из Интернета, сделал практически невозможным их тщательное документирование. Компании начали полагаться на автоматизированные инструменты очистки и фильтрации для сбора своих наборов данных. Однако эти инструменты были неспособны обнаруживать тонкие проблемы, и они привнесли новый уровень неопределенности в процесс обучения.
Показательный случай был представлен исследователями из Стэнфордского университета, которые провели аудит широко используемого набора данных изображений LAION-5B. Несмотря на то, что набор данных был общедоступным, он содержал тысячи подтвержденных материалов о сексуальном насилии над детьми или предполагаемых материалах о сексуальном насилии над детьми. Это открытие было сделано спустя годы после того, как набор данных свободно циркулировал и уже использовался для обучения генераторов коммерческих изображений. Этот эпизод послужил тревожным звонком. Если в открытый набор данных можно было вложить столько вреда, что же могло таиться в закрытых?
“Мы больше не можем даже гарантировать разделение тестовых обучений”, - объясняет Хао, имея в виду базовую методологическую практику машинного обучения.
В типичной системе искусственного интеллекта набор данных разделен на две части: одна часть используется для обучения модели, а другая - для тестирования ее производительности. Это помогает измерить точность модели на данных, которых она раньше не видела. Но когда набор данных настолько велик и непрозрачен, что его содержимое фактически неизвестно, возникает риск появления дублирующегося содержимого в обоих наборах, что затруднит оценку и увеличит показатели производительности.
В результате область все больше зависит от веры, а не от проверки. “Она стала скорее алхимической, чем научной”, - говорит Хао. “Мы вкладываем в модель больше вычислений и данных и надеемся, что что-то получится”.
Не все стремились к масштабированию. Как описывает это Хао, еще одно незаметное движение произошло со стороны исследователей, которые пошли другим путем. Вместо того, чтобы стремиться ко все большим базам данных, они занялись небольшими наборами отобранных вручную данных. Важно было не то, сколько у них было данных, а то, как эти данные отражали нюансы языка, диапазон человеческого опыта и императивы справедливости.
В то время как отрасль стремилась к большему, она также задавалась вопросом, что было упущено на этом пути. DeepSpeech от Mozilla, например, был проектом по распознаванию речи, построенным на аудиоклипах, предоставленных пользователями с полного согласия. Каждый клип просматривался вручную и помечался тегами, при этом были приложены значительные усилия для уточнения набора данных, чтобы обеспечить четкость и разнообразие с точки зрения голосов, акцентов и лингвистических паттернов.
Аналогичным образом, языковая модель BLOOM, разработанная глобальным исследовательским консорциумом под руководством Hugging Face, обучалась на общедоступных наборах данных, собранных с учетом лингвистического, географического и тематического разнообразия. Каждый источник был задокументирован. Были приглашены аудиты сообщества. В отличие от непрозрачных базовых моделей, BLOOM сделала свою методологию обучения понятной.
Но такие усилия все больше отодвигаются на второй план. По словам Хао, преобладающая отраслевая логика сейчас благоприятствует масштабированию. Большие модели, обученные на больших наборах данных, как правило, демонстрируют новые свойства, такие как сложные рассуждения или генерация кода, даже без настройки под конкретную задачу. Это побуждает команды отказываться от тщательного проектирования данных в пользу извлечения всего, что они могут.
Идеология масштаба
Установка OpenAI на масштабирование была не просто техническим выводом. Хао отмечает, что это было результатом последовательной, хотя и неортодоксальной системы убеждений, разделяемой ее руководством. Она сказала, что Илья Суцкевер, главный научный сотрудник OpenAI, был сторонником глубокого обучения. Он верил, что достаточно большая нейронная сеть, если ей будет предоставлено достаточно данных, в конечном итоге разовьет интеллект, подобный человеческому. С другой стороны, Сэм Альтман, генеральный директор OpenAI, подходил к искусственному интеллекту как предприниматель, видя в экспоненциальном масштабировании кратчайший путь к доминированию. Грег Брокман, президент OpenAI, был инженерным умом, сосредоточенным на обеспечении такого масштабирования.
Архитектура, которая позволила реализовать эту доктрину, была transformer, типом нейронной сети, впервые представленной в 2017 году. Трансформеры превосходны в моделировании последовательностей данных, таких как текст, потому что они могут отслеживать взаимосвязи между словами на больших расстояниях в предложении. Что очень важно, их можно эффективно масштабировать. Добавление большего количества слоев и дополнительных параметров повышает производительность.
Исследовательская группа OpenAI поняла, что если они будут обучать трансформаторов на достаточно большом наборе данных с достаточной вычислительной мощностью, они смогут избежать необходимости в ручных функциях, символическом мышлении или модульном проектировании. Интеллект, по их мнению, возникнет из данных.
Для обучения моделей, подобных GPT-4, OpenAI требовались не только идеи, но и инфраструктура. Языковые модели такого размера требуют кластеров из десятков тысяч графических процессоров. Графические процессоры, изначально предназначенные для рендеринга трехмерных изображений, оказались исключительно полезными для матричного умножения, лежащего в основе нейронных сетей. Но их объединение в единую систему потребовало специальной программной и аппаратной настройки.
Инженеры OpenAI разработали методы разделения моделей на сегменты, которые можно распределять по нескольким чипам и обучать параллельно. Они создали протоколы контрольных точек для сохранения частичных циклов обучения, снижая риск катастрофического сбоя. Они создали пользовательские протоколы связи для синхронизации обновлений между машинами. Это не были блестящие достижения, но они были необходимы.
“Никто раньше не тренировался на 10 000 чипах”, - говорит Хао. “Им пришлось разбираться в этом в режиме реального времени”.
Эти достижения позволили масштабировать модели быстрее и эффективнее, чем конкуренты. Но они также способствовали новому виду секретности. OpenAI перестала публиковать многие детали своих прорывов. Раскрывать слишком много, по мнению компании, означало бы лишиться конкурентного преимущества.
К 2024 году большинство крупных технологических компаний догнали ее. IBM, Google, Meta, Amazon, Anthropic и новые участники, такие как Mistral, создали большие языковые модели, используя схожие архитектуры transformer и методы обучения. Многие использовали обучение с подкреплением с обратной связью с человеком - метод, при котором люди оценивают качество выходных данных модели, позволяя доработать модель, чтобы она лучше соответствовала предпочтениям человека.
Сторонним наблюдателям стало труднее различить различия между этими системами. Разработчики приложений начали разрабатывать интерфейсы, которые могли работать с любой моделью за кулисами, позволяя им переключать поставщиков по мере необходимости. Цены, задержка и время безотказной работы стали важнее незначительных различий в интеллекте.
“Сейчас все пытаются не зависеть от моделей”, - говорит Хао. “У OpenAI больше нет монополии на хорошие модели”.
Поскольку масштаб больше не является отличительным фактором, компании начали инвестировать в другую парадигму: агентство. В искусственном интеллекте агентство относится к способности системы проявлять инициативу, упорствовать в течение долгого времени и действовать для достижения своих целей. Вместо того, чтобы реагировать на подсказки, агент планирует действия, отслеживает результаты и корректирует поведение.
Для этого потребовались новые возможности. Модели должны были сохранять память в течение сеансов, интегрироваться со сторонними инструментами и принимать решения без явных подсказок. Целью было перейти от пассивного чат-бота к активному сотруднику.
OpenAI долгое время вдохновлялся фильмом “Она”, в котором пользователь влюбляется в помощника с искусственным интеллектом, который легко приспосабливается к его потребностям. Создание такой системы означало развитие не только интеллекта, но и присутствия. Хао отметил, что внутренние команды OpenAI преследовали эту мечту во всех областях продуктов и исследований.
“Вы не сможете создать такого помощника, не наделив модель памятью, постоянством и автономностью”, - говорит она.
Но чтобы сделать агентов по-настоящему эффективными, OpenAI требовалось нечто большее, чем алгоритмы. Ему нужны были новые виды данных и новые способы их сбора. Интернет, некогда обильный источник обучающих данных, перенасытился синтетическим контентом. Многие документы, доступные сейчас в Интернете, были созданы самими предыдущими моделями.
Это создает цикл обратной связи, в котором онлайн-обучение становится все менее ценным. Чтобы разорвать этот цикл, компании переходят к более тщательному сбору данных. Хао сообщила, что OpenAI изучает пользовательские устройства, которые могли бы фиксировать поведение пользователей в режиме реального времени, от взаимодействия с мобильными устройствами до голосовых разговоров и контекста окружающей среды.
“В Интернете слишком много контента, созданного искусственным интеллектом”, - говорит Хао. “Если вам нужны высококачественные данные, вы должны получать их непосредственно от людей”.
Растущий поток контента, созданного с помощью искусственного интеллекта, по словам Хао, поднимает сложные вопросы о согласии, слежке и контроле. Могут ли люди действительно отказаться от сбора своих данных? И что они скажут о моделях, обученных их словам, образам или поведению?
Для Хао ответ заключается не в технооптимизме или обреченности, а в прозрачности. Она не разделяет доминирующие идеологии в области ИИ — тех, кого она называет “бумеров”, которые верят, что искусственный интеллект спасет человечество, или “роковых людей”, которые боятся, что он нас уничтожит.
“Я нахожусь в лагере подотчетности”, - говорит она. “Эти системы отражают институциональную власть. Нам нужно знать, как они создаются и кому это выгодно”.
Компаниям необходимо объяснять, как тестируются их модели, какие данные они используют и как они осмысливают результаты, говорит Хао. Они должны отслеживать ошибки и делиться своими выводами, чтобы другие могли присмотреться поближе.
Без такой открытости, предупреждает Хао, ИИ рискует превратиться в проприетарный черный ящик — мощный, но неподотчетный.
Исследование IBM
Перевод: сервис для маркетплейсов KolerskyMP
Архитектура, которая позволила реализовать эту доктрину, была transformer, типом нейронной сети, впервые представленной в 2017 году. Трансформеры превосходны в моделировании последовательностей данных, таких как текст, потому что они могут отслеживать взаимосвязи между словами на больших расстояниях в предложении. Что очень важно, их можно эффективно масштабировать. Добавление большего количества слоев и дополнительных параметров повышает производительность.
Исследовательская группа OpenAI поняла, что если они будут обучать трансформаторов на достаточно большом наборе данных с достаточной вычислительной мощностью, они смогут избежать необходимости в ручных функциях, символическом мышлении или модульном проектировании. Интеллект, по их мнению, возникнет из данных.
Для обучения моделей, подобных GPT-4, OpenAI требовались не только идеи, но и инфраструктура. Языковые модели такого размера требуют кластеров из десятков тысяч графических процессоров. Графические процессоры, изначально предназначенные для рендеринга трехмерных изображений, оказались исключительно полезными для матричного умножения, лежащего в основе нейронных сетей. Но их объединение в единую систему потребовало специальной программной и аппаратной настройки.
Инженеры OpenAI разработали методы разделения моделей на сегменты, которые можно распределять по нескольким чипам и обучать параллельно. Они создали протоколы контрольных точек для сохранения частичных циклов обучения, снижая риск катастрофического сбоя. Они создали пользовательские протоколы связи для синхронизации обновлений между машинами. Это не были блестящие достижения, но они были необходимы.
“Никто раньше не тренировался на 10 000 чипах”, - говорит Хао. “Им пришлось разбираться в этом в режиме реального времени”.
Эти достижения позволили масштабировать модели быстрее и эффективнее, чем конкуренты. Но они также способствовали новому виду секретности. OpenAI перестала публиковать многие детали своих прорывов. Раскрывать слишком много, по мнению компании, означало бы лишиться конкурентного преимущества.
К 2024 году большинство крупных технологических компаний догнали ее. IBM, Google, Meta, Amazon, Anthropic и новые участники, такие как Mistral, создали большие языковые модели, используя схожие архитектуры transformer и методы обучения. Многие использовали обучение с подкреплением с обратной связью с человеком - метод, при котором люди оценивают качество выходных данных модели, позволяя доработать модель, чтобы она лучше соответствовала предпочтениям человека.
Сторонним наблюдателям стало труднее различить различия между этими системами. Разработчики приложений начали разрабатывать интерфейсы, которые могли работать с любой моделью за кулисами, позволяя им переключать поставщиков по мере необходимости. Цены, задержка и время безотказной работы стали важнее незначительных различий в интеллекте.
“Сейчас все пытаются не зависеть от моделей”, - говорит Хао. “У OpenAI больше нет монополии на хорошие модели”.
Поскольку масштаб больше не является отличительным фактором, компании начали инвестировать в другую парадигму: агентство. В искусственном интеллекте агентство относится к способности системы проявлять инициативу, упорствовать в течение долгого времени и действовать для достижения своих целей. Вместо того, чтобы реагировать на подсказки, агент планирует действия, отслеживает результаты и корректирует поведение.
Для этого потребовались новые возможности. Модели должны были сохранять память в течение сеансов, интегрироваться со сторонними инструментами и принимать решения без явных подсказок. Целью было перейти от пассивного чат-бота к активному сотруднику.
OpenAI долгое время вдохновлялся фильмом “Она”, в котором пользователь влюбляется в помощника с искусственным интеллектом, который легко приспосабливается к его потребностям. Создание такой системы означало развитие не только интеллекта, но и присутствия. Хао отметил, что внутренние команды OpenAI преследовали эту мечту во всех областях продуктов и исследований.
“Вы не сможете создать такого помощника, не наделив модель памятью, постоянством и автономностью”, - говорит она.
Но чтобы сделать агентов по-настоящему эффективными, OpenAI требовалось нечто большее, чем алгоритмы. Ему нужны были новые виды данных и новые способы их сбора. Интернет, некогда обильный источник обучающих данных, перенасытился синтетическим контентом. Многие документы, доступные сейчас в Интернете, были созданы самими предыдущими моделями.
Это создает цикл обратной связи, в котором онлайн-обучение становится все менее ценным. Чтобы разорвать этот цикл, компании переходят к более тщательному сбору данных. Хао сообщила, что OpenAI изучает пользовательские устройства, которые могли бы фиксировать поведение пользователей в режиме реального времени, от взаимодействия с мобильными устройствами до голосовых разговоров и контекста окружающей среды.
“В Интернете слишком много контента, созданного искусственным интеллектом”, - говорит Хао. “Если вам нужны высококачественные данные, вы должны получать их непосредственно от людей”.
Растущий поток контента, созданного с помощью искусственного интеллекта, по словам Хао, поднимает сложные вопросы о согласии, слежке и контроле. Могут ли люди действительно отказаться от сбора своих данных? И что они скажут о моделях, обученных их словам, образам или поведению?
Для Хао ответ заключается не в технооптимизме или обреченности, а в прозрачности. Она не разделяет доминирующие идеологии в области ИИ — тех, кого она называет “бумеров”, которые верят, что искусственный интеллект спасет человечество, или “роковых людей”, которые боятся, что он нас уничтожит.
“Я нахожусь в лагере подотчетности”, - говорит она. “Эти системы отражают институциональную власть. Нам нужно знать, как они создаются и кому это выгодно”.
Компаниям необходимо объяснять, как тестируются их модели, какие данные они используют и как они осмысливают результаты, говорит Хао. Они должны отслеживать ошибки и делиться своими выводами, чтобы другие могли присмотреться поближе.
Без такой открытости, предупреждает Хао, ИИ рискует превратиться в проприетарный черный ящик — мощный, но неподотчетный.
Исследование IBM
Перевод: сервис для маркетплейсов KolerskyMP