Блог YNDX Family

Как продавать и применять ML и GPT для поиска дубликатов в базе данных

Каждый, кто работает с крупными массивами данных, знает, насколько трудоемко и сложно вручную находить и удалять дублирующиеся записи. Нечеткие совпадения, повторяющиеся данные или ошибки при вводе информации могут привести к снижению точности моделей и усложнению анализа. В этой статье мы рассмотрим практический кейс, который поможет эффективно решить эти проблемы.
Спикер: Давид Акопян, CEO консалтинговой компании OrionAI, Business Analyst Team Lead в Авито, ex-Yandex.
YNDX Family
Материал подготовлен на основе онлайн-встречи YNDX Family, неофициального сообщества текущих и бывших сотрудников группы Яндекса. Присоединяйся к комьюнити, если ты тоже выпускник-яндексоид :)
Полная запись встречи доступна всем участникам сообщества в закрытой базе знаний.

Описание кейса

Заказчик: Быстрорастущая компания из Дубая, занимающаяся стройматериалами и сотрудничающая с большим количеством поставщиков.

Боль клиента: У компании стремительно растет база данных (БД), и коды SKU заполняются разными поставщиками, что может привести к появлению множества дубликатов в будущем. Клиент хочет внедрить автоматизированную систему распознавания дубликатов в базе данных.
Формализованная техническая задача: В результате анализа кейса были выделены следующие задачи:

  • Провести первичный анализ БД для оценки количества:

  1. Дубликатов записей.
  2. Вариаций одного товара с целью объединения их в одну карточку с сохранением спецификаций.

  • Выполнить интеграцию с 1С, при которой при заведении новой карточки будут появляться подсказки о возможном наличии дубликатов.
Критерии точности работы модели:

1. Ошибки первого рода (ложные тревоги) не должны превышать 10%, то есть модель не должна ошибочно помечать запись как дубликат в более чем 10% случаев.

2. Ошибки второго рода (недостаточная бдительность) не должны превышать 5%, то есть модель должна пропускать не более 5% случаев, когда дубликат остается нераспознанным.

Какие существующие алгоритмы могут помочь в решении задачи клиента?

BM25
BM25 (Best Match 25)– это вероятностный алгоритм ранжирования, применяемый для оценки релевантности документов поисковому запросу . Он широко используется в поисковых системах и системах управления информацией. BM25 оценивает вероятность релевантности документа запросу , основываясь на частоте терминов запроса в документе и статистических характеристиках коллекции документов.
Расстояние Левенштейна
Расстояние Левенштейна, или редакционное расстояние, — это метрика, измеряющая различие между двумя строками. Чем больше расстояние, тем более различны строки. Для двух одинаковых строк расстояние равно нулю. Этот метод используется для исправления ошибок в текстах, поиска дубликатов и других операций с текстовыми данными.
Косинусная близость
Косинусное сходство – это метод, применяемый для оценки сходства между двумя текстовыми документами. Оно вычисляется через угол между векторами, представляющими документы, и широко используется в рекомендательных системах и приложениях машинного обучения.
Евклидово расстояние
Евклидово расстояние - это это метрика, определяющая кратчайшую прямую между двумя точками в евклидовом пространстве. Это фундаментальная геометрическая метрика, которая применяется для измерения расстояний в многомерных пространствах.

Почему алгоритм BM25 лучше всего подошел для задачи клиента?

Для решения задачи клиента был выбран алгоритм BM25 по следующим причинам:

1. Алгоритм отдает приоритет более редким словам, что позволяет улучшить точность поиска.
Пример: Для запроса "Гайка Rixton 25мм" наиболее релевантной будет запись "Гайка Rixton 2.5см" , а не "Гайка Asims 25мм", так как бренд Rixton встречается реже.
2. Алгоритм можно улучшить, добавив поля, такие как "бренд", "размер" и другие характеристики. Это позволяет модели извлекать из артикула нужные данные (например, название бренда и размер) и искать по ним более эффективно.

Почему модель GPT не подошла для задачи?

В тестовом режиме была применена модель GPT для решения задачи клиента, но были выявлены следующие сложности:

  • Высокий риск увеличения стоимости использования модели GPT .
  • Увеличение количества товаров и записей усложняет процесс обработки и сравнения.
  • Изменения в базе данных могут привести к необходимости адаптации модели.
  • Точность обработки и сравнения может оказаться ниже, чем у других алгоритмов.

Сравнение результатов при использовании BM25 и GPT

Для оценки того, какой из алгоритмов — BM25 или GPT — лучше подходит для решения задач клиента и соответствует критериям точности, был проведён эксперимент. В ходе эксперимента оба алгоритма анализировали подготовленный фрагмент из текущей базы данных клиента и искали дубликаты.

В результате алгоритм BM25 показал более точные результаты по сравнению с GPT:

С какими сложностями столкнулись?

  1. Проведение ручной валидации результатов внедрения модели.
  2. Найти недорогих программистов для интеграции с 1С.

6 простых правил для успеха консалтиногового проекта

  1. Всегда пиши максимально детальное техническое задание и утверждай его с клиентом в начале проекта.
  2. Всегда пиши детальное саммари после каждой встречи с клиентом.
  3. Всегда оформляй контракт с клиентом.
  4. Всегда проси предоплату и согласовывай этапы оплаты проекта.
  5. Всегда договаривайся о критериях приемки (когда это возможно).
  6. Всегда закладывайте риски в стоимость проекта.

Как определить стоимость консалтингового проекта?

Есть три способа определить стоимость проекта:

ROI (Возврат на инвестиции).
Этот метод оценивает рентабельность проекта, сравнивая затраты и предполагаемую прибыль. ROI помогает определить, стоит ли инвестировать в проект, основываясь на его потенциальной окупаемости.

Конкуренты.
Оценка стоимости основывается на ценах, которые предлагают конкуренты за аналогичные продукты или услуги. Цель — оставаться конкурентоспособным, не завышая и не занижая цену.

Себестоимость.
Этот метод рассчитывает стоимость проекта на основе всех понесенных затрат, включая материалы и оплату труда. Установление цены основывается на необходимости покрыть эти расходы и обеспечить прибыль.
Хочешь получить больше знаний о дизайне ML-систем? Мечтаешь попасть в комьюнити IT-активистов, реализовать крутой проект или найти единомышлеников? Вступай в сообщество YNDX Family! Ждём тебя 😉

Читать далее

Дизайн ML - систем: пространство проблем vs пространство решений
Как AI меняет digital marketing
2024-11-25 09:20 Полезное с митапов