LLM (Large Language Model)

LLM (Large Language Model) — большая языковая модель: нейросеть, которая обучается на больших массивах текста и учится предсказывать продолжение последовательности токенов. Благодаря этому модель может отвечать на вопросы, писать и редактировать тексты, переводить, извлекать информацию, классифицировать документы и помогать с программированием.

Как работает LLM

Текст сначала разбивается на токены — слова, части слов и знаки. Модель преобразует их в числовые представления и с помощью механизма внимания учитывает связи между элементами контекста. Во время ответа она последовательно выбирает вероятное продолжение. Модель не хранит готовую базу ответов и не рассуждает так же, как человек: результат зависит от обучающих данных, запроса, контекстного окна и настроек генерации.

Где применяются большие языковые модели

• чат-боты и помощники службы поддержки;
• поиск и суммаризация документов;
• генерация и анализ программного кода;
• подготовка маркетинговых и редакционных материалов;
• извлечение структурированных данных из текста.

Ограничения

LLM может уверенно сформулировать фактически неверный ответ, воспроизвести ошибки обучающих данных или неправильно понять неполный запрос. Поэтому важные ответы проверяют по первичным источникам, а для работы с корпоративными знаниями используют поиск по документам, RAG, инструменты и контроль доступа.