Представьте, что вы готовитесь к важному тесту или экзамену, который требует запоминания словарного запаса; список важных слов. Что ты обычно делаешь? Ты открываешь список, смотришь на первое слово и его определение и начинаешь повторять его пару раз, и надеешься, что после пары повторений слово и его определение запомнились. Вы накрываете определение этого слова листом бумаги и пытаетесь вспомнить, что это было за определение. Вы убираете этот лист бумаги, видите определение слова и..

В этой истории мы визуализируем векторы встраивания слов, чтобы понять отношения между словами, описываемыми вложениями. Эта история посвящена word2vec [1] и BERT [2]. Чтобы понять вложения, я предлагаю прочитать другое введение (например, это ), поскольку эта история не ставит своей целью их описание. Эта история - часть моего пути к разработке нейронного машинного перевода (NMT) с использованием контекстуализированных векторов встраивания BERT. Предложения приветствуются! Вложения..