Как многие знают, в video intelligence мы создаем систему для контекстной рекомендации видео.
В двух словах это работает следующим образом: вы заходите на страницу с рецензией последнего фильма про Джеймса Бонда, а мы на этой странице показываем вам видео о том, как снимали один из трюков в фильме, или интервью с Дэниелом Крейгом, или обзор Aston Martin DB5. В общем показываем то, что будет наиболее органично дополнять контент страницы, которую вы открыли в данный момент.
Для улучшения и повышения точности подбора видео мы используем множество разнообразных технологий, одна из которых – NER (Named-entity recognition). Это технология, которая позволяет выделять из текста определенные ключевые слова. Например, во фразе "Пожалуй, ни один автомобиль не получил такой известности в кинематографе, как Aston Martin. Да, именно эту легендарную марку предпочитает агент 007 – Джеймс Бонд." система реализующая NER выделит "агент", "автомобиль", "Aston Martin" и "Джеймс Бонд".
Очевидно, что для реализации хайлоад проекта такого уровня была выбрана платформа .NET, а большинство сервисов у нас написано на C#. Есть небольшая часть проекта (которая касается сервисов машинного обучения), написанная на Python, но при этом, довольно давно в планах есть перевод некоторых из этих сервисов на .NET с применением библиотеки
ML.NET – несмотря на то, что это довольно молодая библиотека, развивается она очень активно.
А теперь собственно к новости, которая стала поводом для этого поста – не так давно, команда разработчиков
ML.NET обновила свой роадмап, включив в него поддержку NER. (кстати говоря это была была одной из самых затребованных возможностей, запрос на которую появился еще в 2018 году).
Так что, я надеюсь, в скором времени мы сможем сделать нашу платформу еще лучше. А пока ждем первых релизов
ML.NET с поддержкой NER
Обновленный роадмап:
https://github.com/dotnet/machinelearning/blob/main/ROADMAP.md#named-entity-recognition-nerОбсуждение NER:
https://github.com/dotnet/machinelearning/issues/630Ну и про саму технологию:
https://en.wikipedia.org/wiki/Named-entity_recognition