В этой истории мы визуализируем векторы встраивания слов, чтобы понять отношения между словами, описываемыми вложениями. Эта история посвящена word2vec [1] и BERT [2]. Чтобы понять вложения, я предлагаю прочитать другое введение (например, это ), поскольку эта история не ставит своей целью их описание. Эта история - часть моего пути к разработке нейронного машинного перевода (NMT) с использованием контекстуализированных векторов встраивания BERT. Предложения приветствуются! Вложения..

Вложения слов — это числовые представления слов или фраз в многомерном векторном пространстве, где геометрические отношения между векторами фиксируют семантическое и синтаксическое сходство между соответствующими словами. Эти представления позволяют моделям машинного обучения понимать и обрабатывать естественный язык более осмысленным образом. В традиционных подходах НЛП слова представлялись с помощью разреженных векторов с горячим кодированием, где каждое слово имело уникальный индекс..