Погрузитесь в универсальность генеративного ИИ: расширьте свой набор инструментов не только LangChain!

Содержание

· Введение
· Схема системы
· Введение в Pinecone
· Структура папки кода
· Файл требований
· Переменные среды »
· Чтение PDF
· Вычисление вложений
· Встраивание фрагментов
· Генерация ответов
· Сохранение векторов
· Чтение PDF-файлов, извлечение фрагментов, встраивание и сохранение
· Ответы на вопросы с использованием RAG
· Заключение

Введение

Многие из вас могли бы дать мне полный рот, просто прочитав название этого блога. Но каждому свое, и, возможно, вы просто едете на поезде хайпа. Поначалу я был очень увлечен работой над LangChain и ее использованием. И поэтому я подумал, что попробую, но когда я устанавливал его, я увидел, что он загружает множество других библиотек, и большинство из которых не были полезны для того, что я пытался построить.

Ниже приведен список всех пакетов, которые он устанавливает, примерно от 110 до 120 пакетов.

Но действительно ли нам нужны все эти пакеты, нет, не нужны! Позвольте мне уточнить мои опасения. Установка множества библиотек — это не просто их количество; это приносит с собой ряд проблем:

  • Влияние на производительность. Перегрузка системы многочисленными библиотеками может привести к падению производительности и излишнему потреблению памяти.
  • Проблемы совместимости. Чем больше у нас библиотек, тем выше вероятность конфликта версий, что делает одну библиотеку несовместимой с другой.
  • Накладные расходы на обслуживание:каждая библиотека требует своих обновлений, что дополняет рутинные задачи обслуживания.
  • Повышенная сложность:для тех…