Все внимание сегодня привлекают большие языковые модели, такие как ChatGPT. Но другая технология искусственного интеллекта, knowledge graph — помогает предприятиям применять знания и факты об их продуктах и клиентах для создания адаптивного контента. Катарина Кари и ее коллеги из IKEA разработали систему, вобравшую в себя сотни лет опыта в предметной области, для управления системами рекомендаций клиентам, автоматизации и рационализации внутренних процессов. Графы знаний позволяют людям и компьютерам работать с одним и тем же массивом фактов, создавая уникальный информативный и эффективный опыт.
Катарина Кари
Ведущий онтолог Inter IKEA Systems B.V., магистр естественных наук и музыки, специализируется на семантических технологиях. В IKEA она моделирует граф знаний IKEA, общий словарь, и разрабатывает механизм рекомендаций по дизайну интерьера в цифровом пространстве.
Ларри Свенсон
Автор подкаста Elless Media, специализируется на цифровой архитектуре, которая включает контентную стратегию, контентное моделирование, информационную архитектуру, дизайн контента и написание UX-текстов
Катарина Кари и ее коллеги из IKEA используют онтологии и графы знаний для управления приложениями, такими как системы рекомендаций, и для оптимизации внутренних процессов, таких как распознавание изображений.
Катарина сочетает свой инженерный опыт с глубокой признательностью людям, которые создают и используют приложения искусственного интеллекта и графы знаний.
- Основные идеи беседы Катарины Кари и Ларри Свенсона
- Как ИКЕА использует онтологии и граф знаний
- Появление семантических технологий
- Ленивый онтолог и программисты
- Модель знаний для создания механизма рекомендаций с ИИ
- Работа с экспертами в предметной области требует отдельной подготовки
- Понимание данных в графе знаний
- Классификация товаров в ИКЕА
- Масштабирование проектов: ИИ вместе с графом знаний
- Граф знаний для гуманитарных наук
Основные идеи беседы Катарины Кари и Ларри Свенсона
- работа над графом знаний IKEA, в частности, над тем, как онтология придает смысл модели данных;
- как веб-стандарты, такие как RDF и OWL, поддерживают онтологию и граф знаний;
- преимущества кодификации знаний предметной области таким образом, чтобы их можно было использовать в нескольких приложениях, например, как в системе рекомендаций IKEA, так и во внутреннем приложении для распознавания изображений;
- система для отражения экспертной информации IKEA по предметной области в графе знаний с интуитивно понятным инструментарием разработки для малого и среднего бизнеса;
- трехуровневый взгляд на построение графов знаний в IKEA:
- уровень онтологии, который включает сотни определений классов и свойств;
- уровень категорий, который включает тысячи терминов с контролируемым корпоративным словарём;
- уровень продукта / экземпляра, который включает десятки тысяч конкретных экземпляров продуктов и наборов медиа-ресурсов;
- про убеждения в том, что «человек в цикле» и необходимость кодифицированных, проверенных человеком фактов при создании приложений искусственного интеллекта, а также про мышление, основанное на гуманитарных и социальных науках;
- необходимость сохранять критичность к потреблению информации об искусственном интеллекте, особенно в связи с текущей шумихой вокруг ChatGPT и других больших языковых моделей LLM.
Как ИКЕА использует онтологии и граф знаний
Должность ведущего онтолога в Inter IKEA Systems означает, что я отвечаю за формирование графа знаний. Мы взяли на себя обязательство построить граф знаний для целей IKEA и выполняем это в течение последних двух лет. А также для повторного использования ноу-хау IKEA в области дизайна интерьера, домов людей и мебели для дома, которую мы продаем в наших больших синих коробках на картофельном поле.
Как ведущего онтолога, моя работа в значительной степени связана с формой графа знаний, с тем, как он структурирован, какова его модель данных. И когда я говорю «модель данных» для нашего графа знаний, на самом деле я говорю об онтологии.
Онтология как научная дисциплина о сущем и раздел философии восходит к Аристотелю, к философскому исследованию. Онтология предоставляет метод для выделения из реальности и распознания реальной сути вещей, а потом правильного их описания для успешной коммуникации и повторного использования в цифровых моделях.
Онтология отображает модель данных, она может не только описать их уровень абстракции и как они соотносятся друг с другом, но и дает вам возможность рассуждать с разных точек зрения. Описывая один факт, вы можете захватить гораздо больше других фактов, связанных с первым. Поэтому онтологу нужно уделять много внимания логике описания. Когда вы создаёте иерархию классов, нужно убедиться, что если вы создаете экземпляр с самого низкого уровня, то вы можете создать тот же экземпляр и с самого высокого уровня. Это первая проверка, которую вам нужно выполнить, а затем соответствующим образом назвать свойства или взаимосвязи между вещами.
Появление семантических технологий
Все это активно началось в 1999 году, хотя онтологический метод и логика описания реальности в пришёл в инженерию данных уже в шестидесятых и семидесятых годах. Но семантическая паутина появилась в 1999 году, и именно там были разработаны эти стандарты, RDF (фреймворк описания ресурсов), а затем OWL (язык веб-онтологий), чтобы точно указать, с помощью чего вы можете описать иерархии классов и отношения между экземплярами этих классов.
В этом всё мастерство онтолога — они могут динамически описывать что угодно, любое человеческое знание. В конечном итоге, онтолог анализирует структуру человеческих знаний и пытается (он всегда пытается, потому что идеального ответа никогда не бывает, но он пытается) создать лучшую онтологию (модель описания), с помощью которой эту реальность (задачу) можно объяснить компьютеру и другим людям.
В конечном счете, речь идет о том, как компьютер или приложение могут наилучшим образом использовать эти человеческие знания и автоматизировать их для повторного применения. Так появляется метафора о ленивом онтологе.
Ленивый онтолог и программисты
Ленивый онтолог должен построить онтологию таким образом, что вам нужно было бы выразить только один факт (класс, множество, паттерн, шаблон), а потом уже автоматически описывать множество других фактов на его основе, экономя силы, время и ресурсы. Знание нескольких принципов освобождает от знания многих фактов.
Поэтому онтолог — это действительно хороший коллега-партнёр для инженеров-программистов, потому что теперь программистам не нужно разговаривать с людьми и экспертами в предметной области, чтобы вытащить из них формулировку ТЗ. Онтолог создает систему для сбора знаний эксперта в предметной области, а затем инженер-программист просто пишет свой код для графа знаний и базы знаний.
Как известно, многим программистам тяжело даётся взаимодействие с людьми, занимающимися исследованиями, например дизайнерами. Поэтому наличие онтолога в команде развития компании является большим преимуществом, — это снижает трения в коммуникации и ускоряет разработку приложений.
Онтологии, выраженные в RDF, представляют собой структуру подписки на ресурсы. Это формат, который похож на HTML-код, и даёт преимущество при описании объектов так, чтобы это имело смысл для людей и для компьютеров одновременно. Это кажется сверхмощным инструментом по своим возможностям в организации знаний.
Модель знаний для создания механизма рекомендаций с ИИ
Одно из самых больших преимуществ семантических технологий заключается в том, что вы берете бизнес-логику и логику предметной области, знания предметной области и помещаете их в общий репозиторий, откуда они могут повторно использоваться многими приложениями. Недавно я представила пример на Конференции Knowledge Graph 2023. Мы создали общее хранилище знаний для дизайнера интерьера, где есть механизм рекомендаций (конфигуратор), который помогает дизайнеру сформировать своё решение о проектировании интерьера: если вы выбрали в моделере определённый диван, то база знаний подскажет оптимальный набор предметов для его окружения с учётом контекста (например, вы можете дополнить его декоративными подушками, чтобы сделать его более удобным и привлекательным).
Мы создали эту модель, которая приводит в действие механизм рекомендаций на ikea.com. Когда люди покупают диван, они получают ссылки рекомендованных им декоративных подушек и покрывал, подставки для ноутбуков и валики для чистки ворса. И теперь это совершенно другое приложение, чем обычные рекомендации по электронной коммерции.
Как-то раз к нам зашли ребята из отдела компьютерного зрения и спросили: «Можем ли мы использовать у себя вашу модель, это действительно хорошая вещь, расскажите?». Потому что, если мы распознаем мебель по картинке и узнаём диван, то мы можем уменьшить вероятностное пространство других предметов, которые могли бы быть на этой картинке, что оптимизирует затраты по расчёту модели выбора. Если вы найдете декоративные подушки и покрывала на этой картинке, и это сделает их модель более точной и привлекательной.
Теперь 2 очень разных приложения в компании могут использовать одно и то же хранилище данных, а это означает, что вам нужно построить граф знаний только один раз, и он становится инфраструктурой знаний для всей вашей компании, где приложения начинают появляться, как грибы после дождя.
Возникает общая выгода от кодификации и формулирования наших человеческих знаний в организации, которые теперь можно использовать в разных контекстах очень много раз, имея последнюю, актуальную версию данных.
И это одно из общих преимуществ, о котором люди, работающие с графами знаний, постоянно говорят: «Вы откроете для себя в ваших знаниях то, о чем никогда не догадывались, например, другое применение привычного или использования шаблонов бизнес-правил для создания рекомендаций, коммуникаций или принятия решений». Сейчас это топ в мире разработки информационной архитектуры и контент-стратегий, — работать с экспертами в предметной области, чтобы извлечь информацию из их мозгов и поделиться ею с людьми и приложениями через модель знаний.
Работа с экспертами в предметной области требует отдельной подготовки
У нас в IKEA действительно большое видение, и оно принадлежит владельцу нашего бизнеса Адаму Керестесу: нам нужно демократизировать граф знаний, чтобы многие эксперты в предметной области внутри IKEA могли пользоваться им и дополнять его новыми знаниями. Так ваш корпоративный разум постоянно обучается и помогает вам лучше понимать реальность.
Мы уделяем много внимания разным инструментам, но особенно средствам визуальной разработки. Как работает граф знаний: поскольку это граф, значит у него есть узлы и ребра, у него есть ячейки и связи между ячейками. И теперь мы сделали так, что эксперт в предметной области, который не умеет программировать, может легко разместить визуальный элемент на пустой холст и провести линию к другому элементу, и таким образом добавить свои факты в граф знаний.
Нам удалось вовлечь наших коллег-экспертов и запустить работы с визуальным конфигуратором. Компания делится своей базой знаний с дизайнерами интерьеров с помощью инструмента, что уже приносит большую пользу очень многим покупателям в IKEA, делая проекты быстрее, с меньшим количеством ошибок и увеличивая средний чек благодаря рекомендательной системе и нашему конфигуратору, основанному на знаниях. Важно то, что ни экспертам, ни дизайнерам не нужно знать, как программировать. И я думаю, что это история успеха.
Понимание данных в графе знаний
Известный предприниматель и основатель Семантика Арт, Дейв Маккомб предложил модель 3-х слойной пирамиды.
Верхний уровень, определения и онтологии — это наименьший объем внутри графа знаний. Количество элементов на этом уровне исчисляется сотнями. У вас есть сотни классов и определений свойств, и поэтому имеет смысл выполнять это вручную. Это то, что я применила, если IKEA спрашивала: «Где нам нужна ручная работа? Где нам нужна автоматизированная работа? Где нам нужна распределенная ручная работа?» Или: «Какой тип обеспечения качества нам нужно выполнять?» Если это очень маленькие вещи, то обеспечение качества может быть очень ручным, а когда оно становится больше, его нужно автоматизировать. И тогда для чего мы это используем? Я просто проанализировала это для многих вещей, которые вы хотите сделать в компании, чтобы убедиться, что у вас есть хороший граф знаний, а также как объяснение, как его построить.
Итак, верхний уровень — это онтология, определения классов и их свойств. Там также будут определения отношений, например, как вещи будут соединяться или как вы хотели бы, чтобы они соединялись.
И затем средний уровень, Т-box. Это уровень особых экземпляров: категории и терминология (контролируемый словарь компании). Если вы подумаете об IKEA, то для каждого продукта мы указываем, из какого материала он изготовлен и какого он цвета, а это две совершенно разные категории. У нас может быть 10 цветов, а также десятки типов материалов. И каждый из 10 000 продуктов каталога будет относиться к одному или двум цветам и одному или двум материалам.
Это означает, что будет много входящих связей от многих товаров к одному конкретному цвету, таком как «желтый», и много входящих связей к типу материала, например «дерево». Итак, если вы посмотрите на граф с точки зрения структуры графа, то увидете эти узлы с большим количеством ссылок наследования (высоким рейтингом узла).
Итак, 2-й уровень на самом деле касается тех экземпляров, у которых высокий рейтинг узла, потому что многие другие узлы ссылаются на них. А если вы посмотрите на конкретный продукт, то увидите не так уж много входящих ссылок. Входящих ссылок может быть 10, потому что с этими продуктами связаны другие продукты, но в конечном итоге исходящих ссылок гораздо больше. Там около сотни исходящих ссылок на категории, в которых говорится, что товар этого цвета, что он разработан этим человеком, что к нему прикреплено красивое название IKEA. Гораздо больше похожих исходящих ссылок, описывающих продукт. С точки зрения узла и рейтинга страницы (например как с рейтингом страницы Google), когда они видят, что там много входящих ссылок, значит эта страница популярна и имеет большой вес и значение среди прочих.
Дэйв Маккомб называет его слоем категорий. Я называю это слоем специализированных экземпляров, совершенно особых экземпляров с огромным рейтингом страницы.
И это означает, что так формируется разделяемая терминология внутри компании, потому что кто-то придумывает название (термин) для конкретного материала или продукта. Я имею в виду, мы могли бы сказать birge или pine, но вместо этого мы на самом деле говорим просто дерево, верно? Кто-то принял это решение в компании, и кто-то стоит за ним, и кому-то нужно это изменить, если компания решит более подробно описывать древесину.
То же самое касается цветов. Цвет — это спектр, и затем мы выбираем определенную терминологию и правила, чтобы например золотая чаша на самом деле была отнесена к категории желтых чаш. Опять же, кто-то принял это решение за всю компанию, и именно поэтому средний слой также является контролируемым словарем. И это должно быть в руках экспертов предметной области. По словам Дейва Маккомба, и я с этим согласна, в этом слое будут тысячи терминов (в отличии от сотен на верхнем уровне).
Внутри вашей компании существуют тысячи определений терминов, так что вы не можете управлять ими вручную и одной командой. Для управления терминологией используется специализированное приложение, способное поддержать жизненный цикл термина и взамодействие многочисленных экспертов компании по поводу терминологии:
- специалисты по материаловедению поддерживают таксономию материалов, а
- специалисты по цветам отвечают за таксономию цветов,
- специалисты по стилю — за таксономию стилей и так далее. Это второй уровень.
В основании пирамиды лежит самый многочисленный 3-й уровень — A-box, который представляет собой ваши данные, в том числе:
- все каталоги (десятки или сотни тысяч продуктов), с их метаданными,
- все маркетинговые изображения, которые у нас есть, с их метаданными,
- весь контент, который мы создаем для IKEA, и его метаданные в связанной форме,
- связи контента, который посвящен этому продукту, или этому материалу, или этому цвету,
- связи маркетингового изображения с жёлтым покрывалом, диваном вместе с этой подушкой и в этом типе интерьера этого типа комнаты в квартире из 2-х комнат,
- это портретный формат, а не пейзажный, и так далее. И это связанные данные, которые исчисляются миллионами.
Еще раз повторим, потому что необходимо хорошо связать (контекстуализировать) это в своём сознании:
- Верхний слой — это онтология (концепты, отношения и терминология).
- Средний уровень — это уровень категорий, то место, где содержится бОльшая часть таксономии.
- И затем этот нижний слой, уровень экземпляров, где находятся все вещи (товары, экземпляры), которые у вас есть, и как им приписываются эти свойства, атрибуты и прочее.
И затем, сущность с более высокого уровня дает вам возможность легко делать манипуляции с сущностями внизу, чтобы сказать: «О, вы посмотрели на этот диван, вам, вероятно, понравится этот коврик». Вот как это работает.
Классификация товаров в ИКЕА
В ИКЕА мы говорим, что «Каждый продукт может быть классифицирован как … или некоторые продукты классифицируются как диван или, более конкретно, как диван для гостинной, потому что они соответствуют этим критериям с точки зрения того, кто его разработал, и материалов».
И затем, у нас в каталоге есть несколько продуктов, которые можно отнести к категории подушек, но некоторые из них также подходят для декорирования помещения. Это описано на уровне категорий, как бизнес-правило для поиска всех товаров, которые являются диванами для дома, и как найти все товары, которые являются декоративными подушками для дома.
Затем эти бизнес-правила определяются на уровне категории, потому что это ваши экземпляры с высоким рейтингом, помните? У вас может быть приложение для реализации этой логики на нижнем уровне экземпляров.
И это рассуждение, движок. Для этого мы используем Datalog, основанный на Prolog, если вас интересует его техническое применение. Затем, в соответствии с этими бизнес-правилами, мы материализуем прямые связи между каждой декоративной подушкой для внутреннего использования и каждым диваном для внутреннего использования. Когда они будут доступны для общего хранилища, скажите что-нибудь вроде: «О, эта декоративная подушка добавляет комфорта этому домашнему дивану».
Масштабирование проектов: ИИ вместе с графом знаний
Мы привели пример рассуждения-моделирования, в котором участвует эксперт по предмету, или люди, работающие над всем этим. Но теперь мы оказались в мире искусственного интеллекта, данных и знаний, где человек ищет своё место в этом новом мире.
При использовании искусственного интеллекта нам нужно быть осторожными в отношении того, что мы можем делать вручную, а что нам нужно автоматизировать. Чтобы проекты масштабировались и запускались как приложения в пространстве, их большая часть должна выполняться автоматически. И я думаю, нам нужно быть действительно осторожными при использовании искусственного интеллекта, зная, где на самом деле должен находиться человек.
Мы также можем привести факты и сказать: «На самом деле вам не нужно вычислять много данных, чтобы что-то придумать. Я могу просто сказать тебе, что подушка хорошо сочетается с диваном». Люди констатируют эти факты, и они должны хранить эти факты в графе знаний для повторного использования, как мы делаем в IKEA. Вторичный эффект этого заключается в том, что мы получаем возможность внутри предприятия по-настоящему обсудить и найти консенсус относительно того, что мы имеем в виду, когда говорим это? У нас появляется общий непротиворечивый язык для прозрачной коммуникации.
Потому что есть проблема: для описания предметной области необходимо дать множество терминологических определений. И чтобы кто-то спросил: «Что мы имеем в виду, когда говорим, что диван — это тоже что и диван-кровать или что он сделан из дерева?». Что мы хотим выразить и что мы имеем в виду, когда говорим это? Или что мы имеем в виду, когда говорим, что это дизайн в скандинавском или современном стиле?
И этот разговор, который происходит между людьми, между профессионалами внутри IKEA, очень ценен, потому что объединяет людей и позволяет им вести этот разговор предметно и конструктивно, а также позволяет им принимать обоснованные и разделяемые коллегами решения о том, куда мы хотим пойти как компания. Именно так мы хотим выразить себя. И теперь мы можем поместить это в граф знаний, а затем создать более совершенный искусственный интеллект с большими языковыми моделями или компьютерным видением всех этих различных вещей. Но благодаря графу знаний у нас в центре событий есть хороший человек, который обосновывает эти вещи правдой, действительно единым источником истины в компании.
Приведём здесь две цитаты, которые помогут объединить мир графов знаний и мир контента.
- Элизабет Макгуэйн написала книгу под названием «Дизайн по определению», и она говорила: «Слова многое значат».
- Дин Аллеманг написал книги «Мир графов знаний» и «Семантическая паутина для работающих онтологов», и он много говорит: «Говорите то, что вы имеете в виду, и подразумевайте то, что говорите».
И тогда все это — просто способ кодифицировать и зафиксировать факты реальности, чтобы вы могли делать с этим больше в цифровом мире и коммуникации друг с другом.
Граф знаний для гуманитарных наук
В целом это напоминает мне о том, чем занимаются гуманитарные науки. Как технологи, мы неодобрительно относимся к гуманитарным наукам. Они просто читают книги по истории и пишут об истории, но это очень неточно и всё такое. Но все эти вещи масштабны, являются очень важной частью памяти человечества, и это сознательное поведение человека в групповой среде, как и в гораздо большем сообществе, без которого мы не можем жить. Это одна из составляющих того, что делает нас людьми.
Но гуманитарные науки всегда отстают от технологий, и при этом практика изучения истории и языка, искусствоведение, психология, музейное и библиотечное дело действительно играют важную роль. И мы как технологи несём ответственность за использование этих знаний без искажений при использовании искусственного интеллекта.
Сейчас очень много шумихи вокруг больших языковых моделей или ChatGPT, но это всего лишь часть построения более масштабного искусственного интеллекта. И хотя многим кажется: «Это изменит мир, это отнимет у нас работу, и т.д.». И все эти эмоции витают вокруг. Я просто хотела рассказать людям, не связанным с технологиями, а также коллегам, работающим в области искусственного интеллекта, что для создания действительно хорошей технологии нам нужно комбинировать, чтобы брать лучшее от наших достижений.
Мы хотим объединить лучшее из множества различных технологий, и в конечном итоге нам нужно хорошо и правильно объединить людей и расширить их возможности с помощью наших технологий.
Курирование и адаптация: Онтограф