devdigest // data science

Forwarded from A.G.

Как многие знают, в video intelligence мы создаем систему для контекстной рекомендации видео.

В двух словах это работает следующим образом: вы заходите на страницу с рецензией последнего фильма про Джеймса Бонда, а мы на этой странице показываем вам видео о том, как снимали один из трюков в фильме, или интервью с Дэниелом Крейгом, или обзор Aston Martin DB5. В общем показываем то, что будет наиболее органично дополнять контент страницы, которую вы открыли в данный момент.

Для улучшения и повышения точности подбора видео мы используем множество разнообразных технологий, одна из которых – NER (Named-entity recognition). Это технология, которая позволяет выделять из текста определенные ключевые слова. Например, во фразе "Пожалуй, ни один автомобиль не получил такой известности в кинематографе, как Aston Martin. Да, именно эту легендарную марку предпочитает агент 007 – Джеймс Бонд." система реализующая NER выделит "агент", "автомобиль", "Aston Martin" и "Джеймс Бонд".
Очевидно, что для реализации хайлоад проекта такого уровня была выбрана платформа .NET, а большинство сервисов у нас написано на C#. Есть небольшая часть проекта (которая касается сервисов машинного обучения), написанная на Python, но при этом, довольно давно в планах есть перевод некоторых из этих сервисов на .NET с применением библиотеки ML.NET – несмотря на то, что это довольно молодая библиотека, развивается она очень активно.

А теперь собственно к новости, которая стала поводом для этого поста – не так давно, команда разработчиков ML.NET обновила свой роадмап, включив в него поддержку NER. (кстати говоря это была была одной из самых затребованных возможностей, запрос на которую появился еще в 2018 году).

Так что, я надеюсь, в скором времени мы сможем сделать нашу платформу еще лучше. А пока ждем первых релизов ML.NET с поддержкой NER

Обновленный роадмап: https://github.com/dotnet/machinelearning/blob/main/ROADMAP.md#named-entity-recognition-ner

Обсуждение NER:
https://github.com/dotnet/machinelearning/issues/630

Ну и про саму технологию: https://en.wikipedia.org/wiki/Named-entity_recognition

GitHub

machinelearning/ROADMAP.md at main · dotnet/machinelearning

ML.NET is an open source and cross-platform machine learning framework for .NET. - dotnet/machinelearning

597 views08:58