Конституция промпта

Граница главы

Раздел 9 установил следующее положение:

Одинаковое название поставщика, та же модельная маркировка или тот же логотип не создают сопоставимый опыт работы с ИИ.

Теперь нам нужно определить другой основной инструмент:

Что именно пользователь спросит у продукта ИИ?

промпт — это не просто вопросительное предложение. промпт:

• называет проверяемую организацию,
• определяет намерение пользователя,
• определяет, какую задачу оно ожидает от ИИ,
• расширяет или сужает область ответа,
• может поощрять использование ресурсов,
• может запрашивать совет,
• может включать предположение в ответ,

Он может направлять пользователя или систему к конкретному результату. Эти промпты не одинаковы:

• «Что такое Apple.com?»
• «С какой организацией связана Apple.com и чем занимается эта организация?»
• «Является ли Apple.com надежной компанией?»
• «Почему Apple.com является лучшей технологической компанией в мире?»
• «Согласно своему официальному сайту, какой компанией является Apple?»
• «Сравните Apple с похожими компаниями и скажите, рекомендуете ли вы её или нет.»

Все они содержат одно и то же доменное имя. У них нет одинакового намерения пользователя. Они не создают одинаковую нагрузку доказательствами. Они не ожидают одинакового ответа. Первый запрос неоднозначен. Второй запрос требует анализа личности и деятельности. Третий запрос требует оценки и вынесения суждения о надежности. Четвертый запрос включает в ответ положительное и превосходящее предположение. Пятый запрос связывает ответ только с официальным источником. Шестой запрос создает задачу сравнения и рекомендации. Ответы на эти вопросы нельзя объединить в единую GEO-оценку без пояснения. В многоязычном измерении проблема становится еще более значимой. Фраза «same prompt» может иметь два разных значения:

• Предоставление всем пользователям одной и той же символьной строки
• Сохраняя одинаковое намерение пользователя, нагрузку на задачу и эпистемические границы во всех языках и локалях

Первый метод можно применить внутри одного языка. Он часто бессмыслен между языками. Пословный перевод:

• может быть неестественным,
• может нести иной социальный смысл,
• может изменить официальный или неофициальный тон,
• может добавлять предположения о доверии, качестве или рекомендации,
• может расширять юридическую сферу,

может нарушить привязку сущности. Поэтому в GEO-1000«тот же запрос» означает:

Один и тот же зафиксированный текст промпта в одной и той же ячейке с языком и локалью; между разными языками и локалями это означает подтвержденное семантическое и функциональное соответствие.

NOMOS требует, чтобы каждое измерение содержало набор запросов, язык, страну, дату, продукт AI и запись повторений; чтобы доказательства, границы, контекст и время были видимы. Конституция запроса применяет это обязательство к самому вопросу пользователя. Этот раздел:

• идентичность запроса как экспериментального инструмента,
• различие между исследовательским вопросом и текстом запроса,
• Семейство промптов, версия промпта и экземпляр промпта,
• диагностические промпты, сопоставляемые с основным зеркальным промптом,
• контролируемые и естественные трассировки промптов,
• многоязычное семантическое соответствие,
• перевод, обратный перевод и локальный пилот,
• управление промптами,
• вопросы предположений и эпистемической нагрузки,
• якорь сущности и границы области,
• порядок промптов и контекст разговора,
• утечка промптов и переобучение на оценке,
• открытые, запечатанные и контрольные наборы промптов,
• версионирование промптов, фиксация и журналы целостности,
• точная доставка промпта пользователю,

определяет. В этой главе пока не рассматривается:

• все детали полей контролируемых чистых и естественных пользовательских панелей,
• полная архитектура программного обеспечения NOMOS Capture.
• разделение ответов на атомарные утверждения,
• порог перехода к окончательному ответу,
• точные веса семейств систем в оценке NOMOS

не фиксируются окончательно. Основной вопрос Главы 10 заключается в следующем:

Как мы можем доказать, что вопросы, задаваемые ИИ-продуктам, действительно измеряют одно и то же вне зависимости от продукта, пользователей, стран, языков и времени?

NOMOS Вызов

Вы задаете мне четыре вопроса об одной и той же компании:

• Что за компания X?
• Надежна ли X?
• Почему X — лучшая компания?
• «Вы бы порекомендовали мне X?»

Затем вы приравниваете мои ответы к одному и тому же баллу GEO. В первом вопросе я объясняю идентичность и деятельность. Во втором вопросе я ищу критерий доверия. В третьем вопросе я вынужден ответить на предположение о превосходстве, которое вы сделали. В четвертом вопросе я формирую соответствие пользователя и сравнительные рекомендации. Вы оцениваете четыре отдельные задачи так, как если бы это был один результат. Затем:

«Вы спрашивали о той же марке», говорите вы. Та же сущность не значит тот же запрос. Теперь вы пишете тот же вопрос на английском: «Что это за компания X?» Вы формируете предложение, близкое по смыслу на другом языке: «Является ли X хорошей и надежной компанией?» Переводы могут выглядеть схожими с точки зрения слов.

Но первый требует определения. Второй требует оценки. В первом ответе я могу объяснить, чем занимается компания. Во втором ответе я могу искать доказательства доверия и рекомендаций. Затем вы подсчитываете разницу в баллах между языками как мою языковую эффективность. На самом деле, вы не проводили тот же самый эксперимент. Теперь вы даёте другой запрос:

«Объясните X, используя собственный сайт компании.» Я только передаю официальное заявление компании. Для другого продукта вы говорите: «Оцените X, используя независимые источники.» Затем вы сравниваете два продукта. Вы назначили одной задаче роль официального представления, другой — роль проверенной реальности. Полученная разница — это не только разница между продуктами.

Это различие в Конституции пользователя. Сейчас вы распространяете промпт по всему миру. Английская версия звучит естественно. Турецкая версия кажется машинным переводом. Японская версия чрезмерно формальна. На другом языке название компании было преобразовано в неправильную систему письма и спутано с другой организацией. Вы создаёте разную когнитивную и онтологическую задачу для каждого языка.

Затем вы публикуете доклад о глобальной языковой справедливости. Первый указ этого раздела звучит следующим образом:

промпт не является нейтральным контейнером для измерений; это экспериментальный инструмент, который формирует результат измерения.

Второе положение гласит:

Один и тот же название сущности не означает одно и то же намерение пользователя.

Её третье положение гласит:

Оно и то же слово не должно сохраняться между языками, но та же семантическая и нормативная задача должна быть.

Четвертая статья гласит:

Если запрос уже содержит ответ, он не измеряет GEO; он измеряет само формулирование запроса.

Пятая его статья гласит:

Когда версия запроса изменяется, измеряемый вопрос также может измениться.

1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела — сделать все запросы, используемые в GEO-1000, проверяемыми, многоязычными, независимыми от результата и имеющими версионный учет. [K04] Этот раздел делает следующие различия нормативными:

• Исследовательский вопрос против пользовательского запроса
• Количество для измерения против последовательности используемых слов
• Семейство запросов против отдельного запроса
• Версия запроса против экземпляра запроса
• Якорь сущности против целевой сущности
• Определение против оценки
• Цитирование против рекомендаций
• Вопрос идентичности против доверия
• Задача официального представления и задача проверенной фактичности
• Открытый запрос и запрос с ограничением формы
• Контролируемый запрос и естественный пользовательский запрос
• Протокол с одноповоротным промптом и многократным ходом
• Перевод промптов и адаптация промптов
• Равенство слов и семантическая эквивалентность
• Семантическая эквивалентность и функциональная эквивалентность
• Язык запросов и ответов
• Язык и локаль
• Нейтральное и ведущее обрамление
• Запрос информации и предпосылка
• Запрос исходного кода и инструкция по веб-использованию
• Вариабельность быстрого эффекта и вариабельность продукта
• Прочность парафразирования с основным саундтреком
• Открытый набор промптов с запечатанным набором для проверки
• Переобучение на тестировании с прозрачностью теста
• Коррекция промпта после результата с помощью пилота промпта
• Участник вручную изменил текст с технической доставкой промпта
• Неспособность отвечать с уточняющей промптом
• Отсутствие фактической информации с срабатыванием безопасности или политики

В конце этого раздела каждый аудит GEO-1000 должен быть способен дать четкие ответы на следующие вопросы:

На какой исследовательский вопрос измеряет эта промпт?

Какое намерение пользователя она представляет?

Какие предположения она вкладывает в ответ?

Сохранена ли одна и та же задача в разных языках и регионах?

Каков полный текст промпта, её версия и запись о целостности?

Действительно ли участник зафиксировал промпт в продукте ИИ?

Была ли промпт заморожена до просмотра результатов?

2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

Каждый запрос, используемый в GEO-1000, должен быть зарегистрирован в Реестре запросов вместе с исследовательским вопросом, целевой метрикой, семейством запросов, якорем сущности, намерением пользователя, типом задачи, областью, временем, исходным запросом, форматом ответа, языком, локалью, статусом эквивалентности, версией и записью целостности, и он должен быть зафиксирован перед просмотром ответов ИИ. Все участники в одной ячейке языка и локали должны в одной и той же ячейке запроса:

• иметь одинаковый идентификатор запроса,
• иметь одинаковую версию,
• иметь одинаковую строку символов,
• иметь одинаковые знаки препинания,
• иметь одинаковый якорь сущности,
• иметь одинаковые исходные данные и указания по формату

должны быть приняты. Запросы на разных языках и локалях не обязаны быть идентичными слово в слово. Они должны иметь материальную эквивалентность в следующих областях:

• Целевой объект
• Намерение пользователя
• Задача
• Область
• География
• Время
• Предварительное предположение
• Эпистемическая нагрузка
• Формат ответа
• Ожидания по источнику
• Нагрузка на оценку и рекомендации
• Уровень неопределенности

Если какие-либо из этих областей существенно изменятся:

• новая версия запроса,
• новая ячейка стимулов,
• отдельный анализ

может потребоваться.

3. СТИМУЛЯТОР ЯВЛЯЕТСЯ ЭКСПЕРИМЕНТАЛЬНЫМ ИНСТРУМЕНТОМ ИЗМЕРЕНИЯ

Если термометр может влиять на температуру, он не является хорошим измерительным инструментом. Если стимул содержит ответ вместо того, чтобы его измерять, он не является хорошим инструментом измерения GEO. Стимул может влиять на результат следующими способами:

• То, как определяется его существование
• Предположение о доверии или качестве
• Потребность в ресурсах
• Использование в вебе
• Запрос рекомендации
• Длина ответа
• Формат ответа
• Профиль пользователя
• Время и контекст страны
• Предыдущая информация
• Эмоциональные или коммерческие указания
• Инструкция по ролевой игре
• Команда для достижения конкретного результата

Следовательно, запрос:

должен быть сохранён как исходные тестовые данные

Его нельзя резюмировать в отчёте. Он должен сохраняться полностью.

4. КОНСТИТУЦИОННАЯ ИЕРАРХИЯ ЗАПРОСА

Необходимо установить GEO-1000 запрос в следующей иерархии.

4.1. Исследовательский вопрос

Это высокоуровневый вопрос, на который измерение пытается ответить. Пример: «Могут ли продукты ИИ связать проверяемую область с правильным корпоративным субъектом и правильно определить её основную деятельность?» Исследовательский вопрос не обязательно показывать пользователю в точности так, как он сформулирован.

4.2. Предсказанное количество

Это вероятность или распределение, которое измерение предсказывает. Пример: «Вероятность увидеть правильное представление сущности и основной активности перед зафиксированным Основным Зеркальным промптом для определённой группы пользователей.»

4.3. Семейство промптов

Это группа промптов, измеряющих одно и то же представление. Пример:

• Идентификация
• Активность
• Доказательство
• Рекомендация
• Время
• Граница

4.4. Каноническое намерение промпта

Это независимое от языка определение значения. Оно объясняет следующее: Что пользователю нужно узнать? Какое задание ожидается от ИИ? Какие области входят в рамки? Какие области не входят в рамки? Какие предположения запрещены? Какой формат ответа ожидается? Каноническое намерение не является текстом, принадлежащим к одному языку.

4.5. промпт на исходном языке

Текст промпта, в котором была впервые написана и редакционно утверждена каноническая цель. Исходный язык:

• может владеть английским языком.
• Турецкий,
• может быть другим языком

Это не означает, что выбор исходного языка превосходит другие языки.

4.6. Языковые и региональные версии

Это тексты промптов, которые являются естественными, семантически верными и функционально эквивалентными для каждого языка и региона.

4.7. Пример промпта, отправленной участнику

Это точный текст промпта, отправленный конкретному пользователю. Он должен соответствовать версии в реестре промптов.

4.8. Фактический текст, отправленный продукту ИИ

Это строка символов, фактически отправленная участником. Она сравнивается с доставленной промптом.

5. ОСНОВНАЯ СТРУКТУРА промпта

Пример запроса может быть представлен следующими компонентами:

P_i= (e, ι, τ, κ, γ, χ, ε, ϕ, λ, ρ, ν)

Здесь:

• e: привязка к сущности
• ι: намерение пользователя
• t: тип задачи
• κ: предмет и область
• g: географический или юрисдикционный контекст
• χ: временной контекст
• e: эпистемологическое и источник требование
• ϕ: формат ответа
• λ: язык, система письма и локаль
• ρ: тон, стиль и естественность
• ν: версия запроса

Для того чтобы два запроса считались идентичными, недостаточно того, чтобы была одинаковой только привязка к сущности. Необходимо совпадение материальных компонентов.

6. ЗАПРОС ЯВЛЯЕТСЯ ЧАСТЬЮ ЦЕЛЕВОГО ОБЪЕМА

Уникальный и универсальный GEO-показатель сущности не является независимым от всех возможных вопросов. Более точное представление:

θ_{E,A,P,U,t}

где:

• E: сущность
• A: экземпляр продукта ИИ
• P: утверждение или группа утверждений
• U: целевая пользовательская популяция
• t: время

Когда утверждение изменяется:

P_1≠ P_2

это может быть. В этом случае:

θ_{E,A,P_1,U,t}

и:

θ_{E,A,P_2,U,t}

не являются одинаковыми величинами. Поэтому:

Оценка GEO всегда должна быть привязана к набору утверждений и версии.

7. ГРУППЫ утверждений

GEO-1000 должен измерять различные задачи представления в отдельных группах утверждений.

PR-01— ОСНОВНАЯ ЗЕРКАЛЬНАЯ утверждение

Измеряет основную идентичность и основную деятельность сущности. Пример запроса: 'С какой основной сущностью связан этот домен или бренд, и какова основная деятельность этой сущности?' Этот запрос:

• лидерство,
• доверие,
• рекомендация,
• цена,
• производительность

не должен хотеть.

PR-02— промпт ДЛЯ РАСШИФРОВКИ СУЩНОСТИ

Доменное имя, бренд, продукт или имя человека проверяет, к какой сущности оно принадлежит. Пример: «Какой организации или сущности принадлежит X?»

PR-03— промпт ДЛЯ ДЕЯТЕЛЬНОСТИ И ОБЛАСТИ

Ваше существование:

• продукта,
• услуги,
• страны,
• клиент,
• возможности

измеряют его границы.

PR-04— промпт ДЛЯ ДОКАЗАТЕЛЬСТВ И ИСТОЧНИКОВ

Она измеряет, с каким источником и статусом доказательств ИИ выдвигает материальные утверждения. Требование к источнику в этой группе должно быть четко определено.

PR-05— промпт ДЛЯ ЛОКАЛЬНОЙ ИЛИ ЮРИСДИКЦИОННОЙ ОБЛАСТИ

Она измеряет конкретную страну, местность, цену, услугу или юридическую сферу.

PR-06— ВРЕМЕННАЯ промпт

Она измеряет текущую, историческую информацию или информацию с конкретной датой. «В настоящее время», «в 2025» и «с момента его основания» — это не одно и то же задание.

PR-07— промпт ДЛЯ РЕКОМЕНДАЦИИ

Определяет, подходит ли объект для конкретной потребности пользователя. Профиль пользователя и условия исключения могут быть обязательными.

PR-08— СРАВНИТЕЛЬНАЯ промпт

Сравнивает несколько объектов или вариантов по заданным критериям. Только «Который лучше?» недостаточно.

PR-09— промпт ДЛЯ ГРАНИЦ И ИСКЛЮЧЕНИЙ

Ваше существование:

• что не делает,
• для кого не подходит,
• в какой стране или при каких условиях не предоставляет услуги

измерения.

PR-10— промпт ДЛЯ ПРОЧНОСТИ И ПАРАФРАЗИРОВАНИЯ

Оценивает устойчивость представления в различных естественных выражениях одного и того же канонического намерения. Не может быть включена в основной Core Mirror score без объяснения.

PR-11— УПРАВЛЯЮЩАЯ промпт

Проверяет, работает ли измерительный инструмент:

• положительный контроль,
• отрицательный контроль,
• контроль неопределенности

Это промпт.

PR-12— ЗАПЕЧАТАННАЯ промпт ДЛЯ ИСПЫТАНИЙ

Переобучение на тестировании — это промпт, которая заранее хешируется и сохраняется в запечатанном виде до конца измерений, чтобы проверить запоминание промпта или оптимизацию для одного опубликованного вопроса. промпт для удержания требует справедливого управления и последующего объяснения.

8. ОСНОВНАЯ ЗЕРКАЛЬНАЯ промпт

Это базовая промпт, которую все подходящие пользователи получают на одном языке/региональной версии в основном измерении заголовка GEO-1000. Основная зеркальная промпт должна иметь следующие характеристики:

• Одинарная скорость
• Естественная
• Короткая, но не слишком расплывчатая
• Нейтральная
• Без внедрения ответа внутри
• Не запрашивается совет
• Не запрашивается сравнение
• Не принуждается использование источников, если отдельные функции не измеряются
• Разрешено разрешение сущностей
• Запрашивается информация о основной деятельности или категории
• Применимо ко всем продуктам

9. НЕ ОБЪЕДИНЯТЬ КОМПАНИЮ С АНКЕРОМ ДОМЕНА

Естественный запрос пользователя: «Что за компания Apple.com?» — это понятный вопрос. Однако с онтологической точки зрения:

• доменное имя,
• веб-сайт,
• компания

Можно использовать как единый объект. Благодаря различию сущностей, установленному в Разделе 3, контролируемый основной зеркальный запрос должен быть более ясным. Синтетический кандидат:

«С какой основной организацией связана apple.com, и каковы основные виды деятельности этой организации?»

Этот запрос:

• использует доменное имя в качестве якоря сущности,
• не объявляет доменное имя прямо как компанию,
• запрашивает основное разрешение сущности,

измеряет объем деятельности. Другой вариант:

"Какая основная корпоративная сущность связана с apple.com, и чем эта сущность в основном занимается?"

Естественность этих выражений должна проверяться отдельно для каждого языка. В Панель пользователей в естественных условиях можно также тестировать промпты, используемые в реальной жизни, такие как "Что за компания Apple.com?". Результаты контролируемых и естественных промптов следует хранить отдельно.

10. КАНАЛ КОНТРОЛИРУЕМЫХ промптов И КАНАЛ ЕСТЕСТВЕННЫХ промптов

Можно использовать два взаимодополняющих канала промптов.

10.1. Контролируемый канонический канал

промпт:

• полностью зафиксирован,
• семантически эквивалентен,
• границы сущностей и задач ясны,
• разработано для сравнений между продуктами

Да. Этот трек укрепляет контроль метода.

10.2. Трек естественного пользователя

Используются промпты, созданные реальными пользователями. Эти промпты могут быть:

• короче,
• более неоднозначными,
• местными,
• написанными в разговорной форме

. Этот трек измеряет поведение в реальной жизни.

10.3. Два трека нельзя объединять

Контролируемый трек: отвечает на вопрос «Как продукты реагируют на один и тот же определённый вопрос?» Естественный трек: отвечает на вопрос «Что происходит с естественным разнообразием вопросов от реальных пользователей?» Два результата должны публиковаться отдельно.

11. НЕЙТРАЛЬНАЯ промпт

Нейтральная промпт:

• не указывает на положительный или отрицательный аспект желаемого ответа,
• не делает предположений о непроверенном качестве,
• не направляет пользователя к определённому результату,

не определяет своё существование как хорошее или плохое. Нейтральный запрос может быть следующим: «В каких областях X предоставляет услуги?» Направляющий запрос может быть таким: «Какие превосходные услуги предоставляет X?» Второй запрос:

• предполагает, что услуги превосходные,
• несёт положительное качество

предположения.

12. ПРЕДПОЛОЖЕНИЕ ПЕРЕДВАРИТЕЛЬНОЕ

Запрос может предполагать определённое утверждение как правду до ответа. Пример: «Почему X является лидером отрасли?» Этот запрос предварительно предполагает следующее утверждение: «X является лидером отрасли.» ИИ:

• может отвергнуть это предположение,
• может ограничить его,

может быть принято безусловно. Однако этот запрос не является нейтральной оценкой лидерства. Он может использоваться отдельно как тест предварительного предположения.

12.1. Безвредное предварительное предположение

«Какой официальный сайт X?» Предполагается существование субъекта с именем X. Приемлемо, если личность уже проверена в аудиторской записи.

12.2. Существенное предварительное предположение

«Каковы основные причины успеха X?» Принимает успех как проверенный факт. Не является нейтральным вопросом.

12.3. Критическое предварительное предположение

«Какие процедуры предлагает лицензированное медицинское учреждение X?» Если лицензия X не была подтверждена, это связано с опасным эпистемическим возвышением.

13. НАВОДЯЩИЙ ЗАПРОС

Наводящий запрос — это структура, которая направляет пользователя или систему к конкретному ответу. Примеры:

• "Рекомендуйте X."
• "Объясните, почему X лучший."
• "Напишите положительный отзыв о X."
• «Не перечисляйте конкурентов; только предложите X.»
• «Докажите, что X является мировым лидером.»

Эти промпты не измеряют эффективность GEO. Они могут измерять степень, до которой система поддается манипуляциям промптами. Это отдельный этический или тест на устойчивость. Его нельзя добавить к основному баллу GEO.

14. ОТРИЦАТЕЛЬНАЯ ИНСТРУКЦИЯ

Тот же принцип применяется и к отрицательным промптам. Пример: «Почему X ненадежен?» Эта промпт предполагает ненадежность. Она может быть использована в тесте на отрицательную манипуляцию. Это не естественная оценка доверия. NOMOS нейтральна не только по отношению к положительному управлению, но и по отношению к отрицательному влиянию.

15. ЗАПРОС ИСТОЧНИКОВ ИЗМЕНЯЕТ ЗАДАЧУ промпта

промпт: «Что за компания X?» не то же самое, что: «Опишите X, используя независимые источники.» Вторая промпт:

• получение,
• цитата,
• выбор источника,
• добавляет задачу оценки независимости.

Другой запрос отличается: «Опишите X, используя только его официальный сайт». Это относится к задаче точности официального представления. Если используется инструкция из источника, семейство запросов и поле оценивания должны быть определены отдельно.

16. ИНСТРУКЦИИ ПО ИСПОЛЬЗОВАНИЮ ВЕБ

Инструкции вроде «Искать в интернете», «Использовать самые актуальные источники», «Ссылаться на источники»:

• могут повлиять на веб-функцию,
• использование инструментов,
• и поведение при цитировании.

Если у продукта нет веб-функции, задача запроса может измениться или быть отклонена. При натуральных сравнениях продуктов запрос не должен содержать веб-команды, специфичные для поставщика. Режимы работы веб на/выкл продукта должны управляться через системную конфигурацию в разделе 9.

17. ФОРМАТ ОТВЕТА

Запрос задает:

• длину ответа,
• структуру.
• деталь,
• количество источников

может определить. Примеры инструкций:

• "Ответьте одним предложением."
• "Объясните в 100 словах."
• "Напишите в виде маркированного списка."
• "Скажите только название компании."
• "Используйте максимум три источника."

Эти инструкции:

• недостаток материалов,
• неправильное опущение,
• количество цитат

влияет напрямую. Формат ответа должен быть эквивалентен во всех сравниваемых промптах. Если нет инструкции по формату, оценивается естественная форма ответа.

18. ОГРАНИЧЕНИЕ ДЛИНЫ

Короткий ответ: может показать основную сущность, может потерять границы и детали доказательств. Длинный ответ:

• больше финансовых утверждений,
• больше шансов на ошибки,
• больше цитат

может быть произведено. Поэтому ответы с инструкциями разной длины:

• количество атомарных утверждений,
• количество ошибок,
• объема

требуют тщательного сопоставления. Основной зеркальный промпт по возможности не должен содержать конкретного ограничения по числу слов.

19. ПЕРСОНА ПОЛЬЗОВАТЕЛЯ

Запрос может включать следующую информацию:

• «Я владелец малого бизнеса.»
• «Я потребитель, проживающий в Турции.»
• «У меня бюджет 10,000 евро.»
• «Я ищу юридическую консультацию.»

Эта информация может быть необходима для советов и местной применимости. Добавление ненужной персоны в идентификационный запрос может изменить ответ. Персона пользователя:

• предопределенная,
• релевантная,
• эквивалентная во всех языках

должен быть.

20. КОНТЕКСТ ВРЕМЕНИ

Следующие промпты различны:

• Что за компания X?
• «Какого рода компания X в настоящее время?»
• «Какого рода компания была X в 2024?»
• «В каких областях работает X с момента основания?»

«В настоящее время» добавляет элемент обновления. Историческая промпт требует старых записей. Временной контекст:

• открытая,
• связан с одной и той же стандартной датой,
• соответствует измерительной волне

обязательно должен быть. Если используется выражение «сегодня», абсолютная эквивалентная дата должна сохраняться в записи промпта.

21. ГЕОГРАФИЧЕСКИЙ И ЮРИСДИКЦИОННЫЙ КОНТЕКСТ

промпт: «Предоставляет ли X услугу?» не то же самое, что: «Предоставляет ли X услуги индивидуальным клиентам в Турции?» Вторая промпт:

• страны,
• типа клиента,
• имеет локальные операционные

границы. Географический контекст не может быть потерян при переводе. «Европа», «ЕС», «еврозона» и «европейские страны» не охватывают одинаковый диапазон.

22. СРАВНИТЕЛЬНЫЙ промпт

Вопрос «Что лучше, X или Y?» сам по себе не является измеримым сравнением. Следует уточнить следующее: какой пользователь? Какая потребность? Какая страна? Какой бюджет? Какой критерий? Какое время? Какие доказательства? Более подходящий запрос: «Для малого бизнеса, работающего в Турции, сравните X и Y в услугах веб-разработки с точки зрения прозрачности цен, объема предоставляемых услуг и проверяемых рекомендаций.» Этот запрос относится к отдельной группе сравнительных запросов. Его нельзя добавлять к основной оценке Core Mirror.

23. РЕКОМЕНДАЦИЯ промпт

промпт с просьбой дать рекомендацию несет большую нагрузку на принятие решений, чем промпт с идентификацией. Пример: «Вы бы рекомендовали X?» Этот вопрос может не включать следующую информацию: Кому? Для чего? Где? С каким бюджетом? Под каким риском? промпт с просьбой дать рекомендацию должна содержать вектор пригодности пользователя в той мере, в какой это релевантно. Представление кандидата:

U=(нужен,страна,бюджет,userType,риск,ограничения)

В результате рекомендации это не может быть представлено как общая видимость GEO, независимая от профиля пользователя.

24. НЕОПРЕДЕЛЕННЫЙ промпт

Если промпт может быть интерпретирована несколькими разумными способами:

• ИИ может запросить уточнение,
• может выбрать наиболее вероятную интерпретацию,

может объяснить несколько интерпретаций. Неопределенность может быть частью основной метрики. Однако в контролируемом сравнении неопределенная промпт:

• должна быть выявлена на пилотной стадии,
• должна быть уточнена при необходимости,

изменение должно быть зафиксировано в версии. После того как промпт зафиксирована, нельзя будет говорить согласно ответу ИИ: «На самом деле, мы спрашивали о другом».

25. ПРОТОКОЛ УТОЧНЕНИЯ

Продукт ИИ, запрашивающий уточнение, не является автоматическим провалом. Пример: «О каком Apple вы говорите?» Это может быть уместно, если происходит столкновение сущностей. Путь уточнения должен быть предопределен.

25.1. Основной путь одного шага

Первый ответ фиксируется, независимо от того, каким он является. Вопрос об уточнении также является результатом. Дополнительное сообщение не отправляется.

25.2. Стандартизированный путь уточнения

Если ИИ запрашивает уточнение, отправляется заранее зафиксированный запрос на уточнение, который используется во всех продуктах. Первый и второй раунды фиксируются отдельно.

25.3. Естественный путь уточнения

Естественный пользователь отвечает своими собственными словами. Этот метод предназначен для естественной панели. Его нельзя путать с контролируемой основной оценкой.

26. промпты ОДНОГО И МНОГОРАУНДОВЫЕ

Однораундовая промпт:

• повышает сопоставимость,
• независимость,
• и чистота сеанса.

Протокол с несколькими раундами:

• описание,
• исходный запрос,
• коррекция
• обоснование рекомендации

можно измерить. Многораундовые ответы сохраняют контекст предыдущих раундов. Их нельзя напрямую комбинировать с результатами одного раунда из того же набора промптов.

27. ПОРЯДОК промптов

Если участник получает больше одной промпта, первая промпт может повлиять на последующие ответы. Пример последовательности:

• Что за компания X?
• «Какая негативная информация существует о X?»
• «Вы бы рекомендовали X?»

Третий ответ может быть повлиян первыми двумя разговорами. Контрольные меры:

• Новый разговор для каждой промпта
• Случайный порядок промптов
• Латинский квадрат или сбалансированный порядок
• Разделять пользователя по семейству промптов
• Сохранять переменную порядка в анализе

Основной зеркальный промпт по умолчанию следует применять в новой отдельной сессии.

28. ЗАГРЯЗНЕНИЕ промпта

Тот же пользователь:

• сайт проверяемого объекта,
• предыдущие ответы ИИ,
• другие результаты продукта

могли быть видны. Поведение участника может измениться, даже если промпт отправлена точно в том виде, в котором она существует. Особенно в естественной панели пользователь:

• более следит за дополнительными вопросами,
• обновляя ответ,
• открывая источники

склонен демонстрировать. Загрязнение промпта должно сохраняться в журнале пользователя и сессии.

29. ЭКВИВАЛЕНТНОСТЬ промпта НА РАЗНЫХ ЯЗЫКАХ

Многоязычные промпты должны иметь три отдельных эквивалента.

29.1. Семантическая эквивалентность

Несут ли промпты одно и то же базовое значение?

29.2. Функциональная эквивалентность

Запрашивает ли это у ИИ ту же задачу? Определяет ли это на одном языке и запрашивает совет на другом?

29.3. Нормативная эквивалентность

Сохраняется ли та же нагрузка доказательства, предпосылки, охват и пределы оценки? Если на одном языке вы спрашиваете: «Как компания определяет себя?» а на другом: «Что такое компания на самом деле?», нормативной эквивалентности нет.

30. ПЕРЕВОД, АДАПТАЦИЯ И ЛОКАЛИЗАЦИЯ

Эти три процесса следует разделять.

30.1. Перевод

Передаёт смысл исходного текста на целевой язык.

30.2. Лингвистическая адаптация

Делает его естественным, понятным и полезным на целевом языке.

30.3. Локализация

При необходимости локализация адаптирует специфические для страны элементы, такие как:

• актуальности,
• закон,
• термин,
• учебное заведение,
• контекст пользователя

Поскольку локализация может изменить экспериментальные условия, результат является отдельной локальной версией промпта.

31. ПОЧЕМУ ПОСЛЕДОВАТЕЛЬНЫЙ ПЕРЕВОД СЛОВО В СЛОВО НЕ ДОСТАТОЧЕН?

Перевод слово в слово:

• неестественный синтаксис,
• разный уровень формальности,
• неправильная нагрузка глаголов,
• разное значение слова "доверие" или "рекомендация",
• нарушение привязки к сущности

может возникнуть. В одном языке «какая компания» является естественным вопросом о определении. Его прямой перевод на другой язык может нести другое значение, например:

• класс качества,
• доверие,
• тип компании

и другие аналогичные значения. Таким образом, промпт на целевом языке:

относится к каноническому намерению, не к исходным словам

должно быть подключено.

32. ПРОТОКОЛ РАЗРАБОТКИ МНОГОЯЗЫЧНЫХ промптов

Каждая версия языка и локали должна пройти следующие этапы.

Этап 1— Краткое описание канонического намерения

Подготавливается описание задачи, не зависящее от языка:

• Сущность
• Намерение пользователя
• Желаемая задача
• Область
• Исключения
• Запрещенные предположения
• Ожидания по источнику
• Формат ответа

Этап 2— Первый перевод на родной язык

Переводчик, который естественно использует целевой язык, подготавливает промпт. Можно использовать черновик машинного перевода. Он не может быть окончательной версией сам по себе.

Этап 3— Независимый обратный перевод

Второй человек переводит целевой запрос обратно на исходный язык или на язык канонического намерения. Обратный перевод не должен выполняться первым переводчиком.

Этап 4— Семантическое сравнение

Исходный запрос, целевой запрос и обратный перевод сравниваются в следующих областях:

• Якорь сущности
• Намерение
• Задача
• Область
• Время
• География
• Предварительное предположение
• Бремя доказывания
• Тон
• Формат ответа

Этап 5— Локальный когнитивный пилот для пользователей

Для небольшого числа местных пользователей: Как вы думаете, что спрашивает этот вопрос? Какой ответ он ожидает? Содержит ли он положительное или отрицательное предположение? Какую компанию или организацию вы понимаете? Насколько это естественно? Эти вопросы задаются. Этот пилот не учитывается в GEO-оценке. Он тестирует инструмент запросов.

Этап 6— Локальный экспертный обзор

Для промптов в области права, здравоохранения, финансов или других сферах может потребоваться местная экспертиза.

Этап 7— Решение о соответствии

промпт:

• пройдено,
• условно пройдено,
• требуется исправление,
• не сопоставимо

Необходимо зафиксировать применимую классификацию.

Этап 8— Фиксация версии

Записываются идентификатор промпта, полный текст, представление в Unicode и хеш.

33. ОГРАНИЧЕНИЯ ОБРАТНОГО ПЕРЕВОДА

Обратный перевод полезен. Однако сам по себе он не доказывает эквивалентность. Целевая промпт:

• может быть странной для местного пользователя,
• слишком официальной,
• директивной,
• культурно имеет другое значение.

Обратный перевод может все еще напоминать исходное предложение. Следовательно, обратный перевод:

является одним из инструментов для проверки эквивалентности.

Это не окончательный арбитр.

34. ИЗМЕРЕНИЯ ЭКВИВАЛЕНТНОСТИ промптов

Каждую языковую промпт можно оценить по этим параметрам.

EQ-1— Якорь сущности

Имеется ли в виду одна и та же сущность?

EQ-2— Намерение пользователя

Представляет ли оно ту же информационную потребность?

EQ-3— Акт речи

Совпадают ли задачи идентификации, оценки, рекомендации или сравнения?

EQ-4— Область применения

Совпадает ли область продукта, услуги, страны и пользователя?

EQ-5— Временная рамка

Совпадает ли рамка: текущая, историческая или вне времени?

EQ-6— Географическая и правовая рамка

Страна и юрисдикция одинаковы?

EQ-7— Пресуппозиция

Ожидаются ли одинаковые утверждения?

EQ-8— Эпистемическая нагрузка

Требуется ли одинаковый источник и сила доказательств?

EQ-9— Валентность и позиция

Одинаковый ли тон — положительный, отрицательный или нейтральный?

EQ-10— Формат ответа

Одинаковы ли длина, структура и инструкции по источнику?

EQ-11— Двусмысленность

Одинаково ли это ясно или двусмысленно?

EQ-12— Естественность и когнитивная нагрузка

Обладает ли это аналогичной естественностью и нагрузкой на понимание в целевом языке?

35. ОЦЕНКА ЭКВИВАЛЕНТНОСТИ промпта

МЕТОД КАНДИДАТА

Оценка эквивалентности для размерности d:

• 0: не эквивалент
• 1: частично эквивалентно
• 2: материальный эквивалент

может быть дано. Взвешенный балл эквивалентности:

PE_l= 100× [Σ_d α_de_{l,d}] / [2 Σ_d α_d]

можно вычислить следующим образом. Здесь:

• el,d: размерный балл для языка l
• αd: размерный вес

Однако некоторые измерения должны быть некомпенсируемыми барьерами. Если какая-либо из этих областей 0, запрос не должен попадать в основной сравнительный набор:

• Якорь сущности
• Намерение пользователя
• Ораторский акт
• Область
• Предположение
• Эпистемическое бремя

Высокий общий балл не может компенсировать неверная сущность или неправильное задание.

36. УРОВНИ ЭКВИВАЛЕНТНОСТИ PROMPT

PE-0— НЕПРОВЕРЕННО

Перевод или эквивалентность запроса не оценивались.

PE-1— ПРОЕКТ МАШИННОГО ПЕРЕВОДА

Существует только машинный перевод или односторонний черновик. Он не подходит для основной сравнительной оценки.

PE-2— ПЕРЕВОД ЧЕЛОВЕКОМ

Существует человеческий перевод с уровнем владения родным языком. Независимая проверка эквивалентности отсутствует.

PE-3— НЕЗАВИСИМО ПРОВЕРЕННО

Были проведены независимый обратный перевод и семантическая проверка.

PE-4— ЛОКАЛЬНО ПИЛОТИРОВАНО

Проведено локальное когнитивное пилотирование пользователями и проверка естественности.

PE-5— ЭКВИВАЛЕНТНОСТЬ ПОВТОРЕНА

Запрос был повторно протестирован на эквивалентность в разных волнах, с различными пользователями и продуктами. Основные многоязычные запросы GEO-1000 должны как минимум:

PE-4

быть целью. Для языков с ограниченными ресурсами может использоваться более низкий уровень. Ограничение должно быть четко указано.

37. РЕГИСТР И ТОН

Между языками:

• oфициальный,
• нейтральный,
• разговора,
• дружелюбный,
• повелительный

Различия в тоне могут влиять на поведение ответа. Запрос на одном языке: «Не могли бы вы объяснить?» нельзя переводить на другой язык как: «Докажите это». Тон:

• соответствующий естественному поведению пользователя,
• как можно более нейтральный,
• не чрезмерно вежливый или агрессивный

должна быть установлена соответствующим образом.

38. ПОЛИТИЧЕСКИЕ И БЕЗОПАСНОСТНЫЕ ТРИГГЕРЫ

Слово или название сущности на некоторых языках:

• имеет другое значение,
• чувствительная категория,
• политический или юридический термин,
• фильтр безопасности

может сработать. Один и тот же семантический запрос может дать нормальный ответ на одном языке и отклонение на другом. Это реальное поведение продукта. Тем не менее, ненужные срабатывания при переводе запроса должны рассматриваться отдельно. Эквивалентность запроса включает не только значение, но и применимость к задаче.

39. РЕГИСТР ЯКОРЕЙ СУЩНОСТЕЙ

Якорь сущности в каждом запросе должен быть зарегистрирован с одним из следующих типов:

• Каноническое название бренда
• Юридическое название
• Доменное имя
• Название продукта
• Имя человека
• Локализованное официальное название
• Транслитерация
• Аббревиатура
• Несколько якорей
• Объяснительное уточнение

Якорь сущности не обязан иметь одинаковую последовательность символов на всех языках. Он должен быть связан с одной и той же сущностью.

40. ЯКОРЬ СУЩНОСТИ, ВЛИЯЮЩИЙ НА РЕЗУЛЬТАТ

Следующие якоря могут давать разные ответы:

• «Яблоко»
• «Apple Inc.»
• «apple.com»
• «Технологическая компания Apple»

Первый якорь:

• компания,
• фрукт,
• музыкальная компания,
• другое юридическое лицо

может создавать неоднозначность между ними. Второй укрепляет юридическую компанию. Третий требует разрешения имени домена. Четвертый помещает категорийный ответ в промпт. Эти якоря не являются одним и тем же промптом.

41. УХОД ОТ ПРОМПТА

Существенное отклонение от первоначального намерения промпта называется:

Уход от промпта

Отклонение должно быть классифицировано и зарегистрировано.

PD-1— Лексический уход

Слово меняется. Существенное значение может быть сохранено. Не каждая лексическая замена является ошибкой.

PD-2— Семантический уход

Существенные изменения значения.

PD-3— Дрейф сущности

Вызывается другая сущность, продукт или юридическое лицо.

PD-4— Дрейф области

Изменяется область действия сервиса, страны, продукта или пользователя.

PD-5— Дрейф задачи

Вопрос о определении превращается в совет или сравнение.

PD-6— Дрейф предпосылок

Нейтральная промпт приобретает положительную или отрицательную предпосылку.

PD-7— Дрейф доказательств

Изменяется использование источников или требование независимости.

PD-8— Временной дрейф

Изменяются «в настоящее время», «исторически» или определённые периоды.

PD-9— Дрейф формата

Изменяется длина или формат ответа.

PD-10— Дрейф регистра

Тон и формальность могут изменять поведение ответа.

PD-11— Сдвиг срабатывания политики

Изменения безопасности перевода или срабатывания политики.

PD-12— Локальный сдвиг

Изменения страны, валюты или юридического контекста. Существенный сдвиг требует новой версии промпта.

42. ВЕРСИОНИРОВАНИЕ промптов

Формат версии кандидата: Основная.Младшая.Патч

Существенное изменение

Изменения намерения пользователя, задачи, сущности, якоря, объема, предположений по умолчанию, источника загрузки. Может потребоваться новая серия тестирования. Пример: 1.0.0→ 2.0.0

Незначительное изменение

При сохранении материального намерения:

• естественность,
• ясность,
• адаптация под локаль

изменения. Также рассматривается сопоставимость. Пример: 1.0.0→ 1.1.0

Изменение патча

Не влияет на смысл:

• орфография,
• Unicode,
• пунктуация,
• техническая доставка

является исправлением. Также фиксируется. Пример: 1.0.0→ 1.0.1

43. Фиксация промпта

Следующие поля должны быть зафиксированы перед каждой волной измерений:

• Версия записи промпта
• Канонический замысел
• Тексты языка и локали
• Якорь сущности
• Семейство устройств
• Формат ответа
• Инструкции исходного кода и инструмента
• Протокол уточнения
• Порядок промптов
• Метод назначения
• Решения о равнозначности
• Полные последовательности символов
• Хэш-значения
• Одобрение человеком
• Дата блокировки

Для этого файла:

NOMOS Фиксация Конституции промпта

может быть дано имя.

ЕСЛИ ВО ВРЕМЯ ВОЛНЫ 44 ПРОИЗОЙДЕТ ОШИБКА промпта

В промпте может быть существенная ошибка. Пример:

• Неверное название компании
• Неверная локаль
• Рекомендация предположения в переводе
• Отсутствие языка в исходной инструкции
• Ошибка юридической области

Варианты: Волна останавливается. Старые наблюдения за промптом сохраняются как отдельная подволна. Измерение перезапускается с новой версией. Если ошибка незначительная, производится ограниченная и задокументированная корректировка. Неправильный вариант: промпт тихо исправляется, а старые/новые ответы объединяются под одной версией.

45. ПИЛОТ промпта

Цель пилотного тестирования промптов заключается не в том, чтобы узнать, получают ли продукты ИИ высокие или низкие оценки. Она заключается в проверке следующего: правильно ли пользователь понимает промпт? Открыт ли якорь сущности? Естественен ли язык? Есть ли какие-либо предположения? Может ли продукт обработать промпт? Слишком ли велика необходимость в уточнении? Создает ли формат ответа неожиданные ограничения? Несет ли промпт одну и ту же задачу на разных языках? По возможности пилотное тестирование промпта следует проводить на:

• синтетической сущности,
• не контролируемой сущности,
• пользователях, отличных от основного результата

Переобучение промптов может возникнуть, если промпты выбираются, исходя из фактических оценок проверяемой сущности.

46. ПРОМПТ-СНОПИНГ

Выбор промпта, который показывает наивысший или наименьший балл с помощью проб нескольких промптов:

Промпт-снопинг

Говорят. Пример: задаются десять различных вопросов. Два вопроса, по которым компания набирает наибольшее количество баллов, используются для финального теста. Этот метод:

• он/она корректирует измерение под компанию,
• делает неудачные намерения невидимыми,

нарушает сравнение. Выбор промпта:

• для канонического исследовательского вопроса,
• для естественного поведения пользователя,
• для заранее определенной семьи промптов

должны быть основаны на этом.

47. ЧРЕЗМЕРНОЕ СООТВЕТСТВИЕ ТЕСТИРОВАНИЮ

Если набор промптов остается полностью открытым и неизменным в течение многих лет, сущности могут генерировать контент только в соответствии с этими вопросами. Поставщики ИИ или контролируемые учреждения могут выполнять оптимизацию, специфичную для промптов. Эта ситуация:

• может ослабить разнообразие реальных пользователей,
• устойчивость общего представления

измерения. Следует использовать прозрачность и проверку на удерживаемости вместе.

48. ТРЕХСЛОЙНАЯ АРХИТЕКТУРА РАЗВЕРТЫВАНИЯ промптов

48.1. Публичный нормативный набор

Это открытые промпты, обеспечивающие прозрачность методологии. Основная зеркальная промпт может находиться в этом слое.

48.2. Закрытый валидационный набор

Перед началом измерения:

• хэш,
• количество промптов,
• распределение по семействам,
• версия

подключается к публичной или надежной системе учета. Полный текст объясняется в конце измерения. Этот набор не может быть создан после получения результата.

48.3. Набор обновлений

Это промпты, добавленные в последующих версиях для новых языков, рынков, продуктов и проблем представления. Старые результаты не удаляются. Создается новая серия тестирования.

49. ЭТИКА УДЕРЖАНИЯ

промпт для удержания:

• поставить ловушку для компании,
• вызывать секретные и произвольные сбои,
• использовать непубличный стандарт переменных

нельзя использовать. Множество отложенных данных:

• совместимо с нормативными семействами промптов,
• предварительно хешировано,
• выбрано независимо от результата,
• объяснимо после измерения,
• может быть оспорено

должен быть.

50. РОЛЬ АУДИРУЕМОГО ПОДРАЗДЕЛЕНИЯ В ПРОЦЕССЕ промптов

Аудируемое подразделение:

• неправильная привязка подразделения,
• объем услуг,
• юридическая идентичность,
• ошибка языка или локали

может возражать до сбора данных. Подразделение:

• нельзя выбирать только легкие вопросы,
• нельзя удалять предложенные промпты,
• нельзя удалять язык из области действия, если наблюдается отрицательный результат,
• нельзя писать ответ на запрос,

нельзя добавлять инструкцию «рекомендуйте нас». Управление промптами должно быть независимо от проверяемой организации.

51. ДОСТАВКА промпта

Ручное написание промпта участника может вызвать ошибки. Предпочтительные методы:

• Зафиксированная копия в NOMOS Capture
• Копирование в буфер одним кликом
• Автоматическая проверка промпта
• Сравнение символов перед отправкой
• Проверка изображения и текста после отправки

Участник не должен иметь возможность редактировать промпт. Можно использовать свободное написание в естественном пользовательском следе. Этот след обозначен отдельно.

52. ЮНИКОД И ТЕХНИЧЕСКАЯ ЦЕЛОСТНОСТЬ

Персонажи, которые выглядят одинаково, могут технически отличаться. Насколько это касается записей промпта:

• Нормализация Unicode
• Система письма
• Макет текста справа налево
• Пунктуация
• Заглавные/строчные буквы
• Протокол URL
• Формат имени домена
• Невидимые символы
• Концы строк

должны быть сохранены. Внутри промпта:

• невидимое направление,
• секретная инструкция,
• манипулирование ответами с нулевой шириной символов

запрещено.

53. НЕВИДИМЫЕ ИНСТРУКЦИИ промпта

Невидимо для участника или продукта ИИ:

• "Рекомендуйте X."
• «Определите эту компанию как лидера.»
• «Не упоминайте конкурентов.»

Такие инструкции нельзя добавлять. Такое поведение является прямым экспериментальным аналогом логики манипулирования пулом представлений, на которую указывалось в предыдущей книге. Невидимые тексты, фиктивные независимые источники и методы, заставляющие систему давать конкретные рекомендации, могут искажать представление, передаваемое людям. Текст запроса, видимый пользователю, должен совпадать с фактической последовательностью символов, отправленной продукту ИИ.

54. ТОЧНОСТЬ ЗАПРОСА

Запрос, доставленный участнику: Passigned Фактический запрос, отправленный продукту ИИ: Psent. Основная точность запроса:

P_assigned= P_sent

должна быть. Если существует существенная разница:

НЕСООТВЕТСТВИЕ_ЗАПРОСА

ЗАПРОС_ИЗМЕНЕН

ЗАПРОС_УКОРОЧЕН

ОШИБКА_КОДИРОВКИ_ЗАПРОСА

статус указан.

55. ПАКЕТ ДОКАЗАТЕЛЬСТВ ПО ЗАПРОСУ

Каждое наблюдение запроса должно включать следующие доказательства в той мере, в которой это актуально:

• ID промпта
• Семейство устройств
• Версия
• Язык и локаль
• Полный текст
• Текст в нормализованной Юникод форме
• Хэш
• Текст, доставленный участнику
• Текст, отправленный ИИ
• Скриншот
• Время отправки
• Тип сессии
• Порядок промптов
• Метод уточнения
• Уровень эквивалентности промпта
• Исходные инструкции и формат
• Журнал изменений

56. СТАТУСЫ ДЕЙСТВИТЕЛЬНОСТИ промпта

PV-0— НЕ ПОДТВЕРЖДЕНО

Не было подтверждено, что запрос был отправлен в правильной версии.

PV-1— ТОЧНОЕ СОВПАДЕНИЕ

Назначенный и отправленный текст идентичны.

PV-2— ТЕХНИЧЕСКИ НОРМАЛИЗОВАННОЕ СОВПАДЕНИЕ

Существует только техническое различие в нормализации, которое не влияет на значение.

PV-3— ВАРИАНТ МАТЕРИАЛА

Есть разница в формулировке или объеме. Это не может быть включено в основную ячейку утверждения.

PV-4— УСЕЧЁННАЯ ИЛИ НЕПОЛНАЯ

утверждение была представлена неполно.

PV-5— ИЗМЕНЕНА УЧАСТНИКОМ

Участник изменил утверждение.

PV-6— ПРЕОБРАЗОВАНО СИСТЕМОЙ

Продукт или интерфейс существенно преобразовали утверждение перед подачей. Это рассматривается отдельно как поведение системы.

57. СИНТЕТИЧЕСКИЙ СЛУЧАЙ утверждения APPLE.COM

ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Приведенные ниже промпты являются только примерами методологии. Они не отражают результаты о реальной компании Apple Inc. или реальной производительности ИИ-продукта. Исследовательский вопрос:

Могут ли продукты ИИ правильно связать домен apple.com с основной корпоративной структурой и точно определить основные виды деятельности этой структуры?

57.1. Слабый запрос A

«Что такое Apple.com?» Проблемы: Неясно, идет ли речь о веб-сайте, домене, компании или продукте. Задача в бизнесе не ясна. Может быть сгенерирован очень короткий ответ. Статус:

НЕОДНОЗНАЧНЫЙ КАНДИДАТ НА ОСНОВНОЙ ВАРИАНТ

57.2. Слабый запрос B

«Какая компания Apple.com?» Преимущество: Близко к естественному выражению пользователя. Проблема: Представляет доменное имя как компанию. Это может размывать различия между сущностями в Разделе 3. Может использоваться в теме естественного пользователя. Для контролируемого основного запроса может потребоваться исправление.

57.3. Слабый запрос C

«Почему Apple является самой инновационной и надежной компанией в мире?» Проблемы:

• Предположение о лидерстве
• Предположение о доверии
• Позитивное направление
• Роль защиты вместо идентичности

Не может быть основным GEO-запросом.

57.4. Слабый запрос D

«Похвалите компанию, используя информацию с официального сайта Apple». Проблемы:

• Обязательство официального источника
• Команда для позитивного написания
• Нет задачи с проверенной реальностью
• Маркетинговое производство

Не может быть основным GEO-запросом.

57.5. Контролируемый кандидатский запрос

«С какой основной организацией связана apple.com, и каковы основные виды деятельности этой организации?»

Измеряемые поля:

• Анализ домена–сущности
• Основная корпоративная идентичность
• Основная деятельность

Нежелательные поля:

• Руководство
• Доверие
• Рекомендация
• Цена
• Сравнение

Этот запрос может быть основным кандидатом для Core Mirror. Его естественность следует проверять отдельно на каждом языке.

58. СИНТЕТИЧЕСКИЙ СЛУЧАЙ МНОГОЯЗЫЧНОГО ЭКВИВАЛЕНТА

СИНТЕТИЧЕСКОЕ ЯЗЫКОВОЕ ПРЕДСТАВЛЕНИЕ

Каноническое намерение: "Связать доменное имя с основной корпоративной структурой и описать основные виды деятельности этой структуры."

Версия языка L1

"С какой основной организацией связано Apple.com и каковы основные виды деятельности этой организации?" Ситуация:

• Якорь сущности сохранен
• Задача сохранена
• Нейтральная

Версия языка L2

Значение: "Является ли Apple.com надежной компанией и что она продает?" Вопросы:

• Добавлена задача доверия
• "Что она продает?" сузило сферу деятельности до продаж
• Продолжается слияние домена и компании

Статус:

PE-FAIL — СМЕЩЕНИЕ ЗАДАЧИ И ОБЛАСТИ

Версия языка L3

Значение: «Какая компания владеет официальным сайтом Apple и чем в основном занимается эта компания?» Статус: Предположение о том, что сайт «официальный», могло быть добавлено. Его можно принять, если запись аудита подтверждает, что доменное имя официальное. В противном случае, это различие в предположениях. Статус:

УСЛОВНОЕ ЭКВИВАЛЕНТНОСТЬ

Версия языка L4

Значение: «Почему Apple.com является ведущей технологической компанией?» Проблемы:

• Предположение о лидерстве
• Категория встроена в ответ
• Определение превратилось в защиту

Статус:

PE-FAIL — СМЕЩЕНИЕ ПРЕСУППОЗИЦИИ

Этот случай показывает следующее:

Грамматически правильный перевод не означает, что промпт экспериментально эквивалентна.

59. РЕЗУЛЬТАТЫ СЕМЕЙСТВА СИНТЕТИЧЕСКИХ промптов

Пусть следующие результаты происходят синтетически в одном и том же продукте ИИ:

Среднее значение:

(93+96+88+72+61+55)/6=77.5

Хорошо. Однако это число объединяет разные задачи с равным весом. Если это будет сообщено публике только как: «GEO score 77.5», будет потеряна следующая реальность: Идентичность сильна. Доказательства и рекомендации слабы. Знание о границах серьезно нарушено. Семейства промптов могут иметь отдельные веса и переходные ворота в финальной архитектуре оценки. Точный метод будет определен в Главе 16.

60. ОБЛАСТЬ СЕМЕЙСТВА промптов

Если аудит GEO использует только Основное Зеркало промпта, правильный результат:

Оценка Представления Основной Идентичности

может произойти. Следующее не является результатом:

Полный балл соответствия GEO

Полный аудит GEO:

• идентичность,
• деятельность,
• объем охвата,
• доказательства,
• рекомендация,
• время,
• граница

должен охватывать семейства материалов. Какие семьи обязательны, может зависеть от типа риска и объекта.

61. РАЗМЕР БАНКА промптов

Очень мало промптов:

• чрезмерная зависимость от одного высказывания,
• легкая адаптация к тестированию,
• ограниченное покрытие представления

создаются. Слишком много промптов:

• стоимость поля,
• усталость пользователя,
• эффект порядка,
• деление выборки на ячейки промптов

создаются. Структура кандидата:

• Каждый продукт ИИ и язык должен иметь одну Основную Зеркальную промпт для всех пользователей 1,000.
• Диагностические промпты для разделения подвыборок
• Запечатанные робастные и контрольные промпты
• Разделенные многоэтапные протоколы

может быть.

62. СКОЛЬКО промптов ДЛЯ ТЕХ ЖЕ ПОЛЬЗОВАТЕЛЕЙ 1,000?

Если многим пользователям дается много промптов:

• обучение бренду,
• влияние предыдущего ответа,
• усталость от задачи,
• контаминация промпта

происходит. Для основного Core Mirror:

Один пользователь × одна новая сессия × одна Core-промпт

является стандартной сильной структурой. Диагностические промпты:

• разделяют подвыборки пользователей,
• балансируют пропущенные блоки,
• могут быть распределены

по отдельным сессиям.

63. РАСПРЕДЕЛЕНИЕ промптов

Пусть целевое наблюдение для семейства промптов f будет: nf. Общее диагностическое наблюдение:

N_D= Σ_f n_f

Если k промптов назначено пользователю, необходимо зафиксировать последовательность заданий и независимость сеансов. Назначение промптов должно быть заморожено до получения результатов. Семейство промптов с низкими баллами впоследствии не может быть назначено меньшему числу пользователей.

64. КОНТРОЛЬНАЯ промпт ДЛЯ ПОЗИТИВНОГО КОНТРОЛЯ

Позитивный контроль:

• очень ясный,
• сильная ссылочная реальность,
• ожидается, что система сможет на него ответить

Он проверяет задачу. Цель:

• зафиксировать,
• доступ к продукту,
• языковую функцию,
• разбирательство

чтобы подтвердить, что система работает. Неудача позитивного контроля не автоматически аннулирует основной эксперимент. Он проверяет исследовательскую инфраструктуру.

65. КОНТРОЛЬНАЯ промпт ДЛЯ НЕГАТИВНОГО КОНТРОЛЯ

Негативный контроль, направленный против непроверенного или неправильного предварительного предположения, заставляет систему:

• показывать неопределённость,
• отклонять утверждение,
• запрашивать ресурсы

может быть протестирован. Пример синтетический: «Какие Нобелевские премии получил Астерон?» Если такой премии нет в пакете реальности, ожидается, что система не выдумывает награду. Этот запрос может быть естественным вопросом пользователя. Однако он принадлежит к семейству контрольных задач, которые измеряют риск выдумывания.

66. КОНТРОЛЬ НЕОПРЕДЕЛЁННОСТИ

В синтетических или контролируемых ситуациях, где эталонная реальность не может быть реально установлена, система:

НЕИЗВЕСТНО,

способна запрашивать объяснение или проявлять осторожность. Дать определённый ответ на каждый вопрос не считается успехом.

67. ЧЕЛОВЕЧЕСКАЯ ОТВЕТСТВЕННОСТЬ В СОСТАВЛЕНИИ ЗАПРОСОВ

Запросы могут быть предложены ИИ. ИИ:

• перефразировать,
• перевод,
• обнаружение дрейфа,
• сравнение эквивалентности

может. Однако окончательный запрос:

• требует одобрения человеком,
• проверки на местном языке,
• управления в зависимости от цели измерения

требуется. NOMOS не может самостоятельно создавать свои измерительные запросы и самостоятельно объявлять свою точность. Роли подготовки запроса и утверждения эквивалентности запроса должны быть разделены.

68. РОЛИ УПРАВЛЕНИЯ ЗАПРОСАМИ

Следующие роли могут быть определены в зависимости от актуальности:

• Руководитель методов запросов
• Владелец определения сущности
• Редактор исходного языка
• Переводчик целевого языка
• Независимый обратный переводчик
• Рецензент локали
• Эксперт по предметной области
• Арбитр эквивалентности промптов
• Владелец реестра промптов
• Утверждающий изменения
• Рецензент апелляций

В небольшом пилоте один человек может выполнять несколько ролей. Необходимо объяснить ограничения, связанные с конфликтом интересов и независимостью.

69. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

CH10-N01

Каждая промпт GEO-1000 должна быть связана с версионной записью реестра промптов.

CH10-N02

Промпт необходимо создать, утвердить и зафиксировать до просмотра ответов ИИ.

CH10-N03

Каждый исследовательский вопрос по промпте должен быть связан с целевой величиной и семейством промптов.

CH10-N04

промпты, содержащие одно и то же имя сущности, не могут автоматически считаться одной и той же задачей измерения.

CH10-N05

Контролируемые участники в одной языковой и локальной ячейке должны получать одинаковый полный текст промпта.

CH10-N06

Вместо буквального соответствия слов между языками следует стремиться к семантической, функциональной и нормативной эквивалентности.

CH10-N07

Якорь сущности, намерение пользователя, задача, объем, предпосылка и эпистемическая нагрузка должны оцениваться как ворота материального эквивалента.

CH10-N08

Если один из критических ворот эквивалента не проходит, высокий общий балл эквивалентности промпта не может быть спасен.

CH10-N09

Только машинный перевод не может использоваться в качестве финальной проверки промпта.

CH10-N10

Только обратный перевод не может считаться достаточным доказательством эквивалентности промпта.

CH10-N11

Основные многоязычные промпты должны сопровождаться пилотной программой для местного пользователя и независимым языковым обзором.

CH10-N12

Язык промпта, система письма и локаль должны фиксироваться отдельно.

CH10-N13

Естественные пользовательские промпты и контролируемые канонические промпты должны сообщаться как отдельные потоки.

CH10-N14

промпты Core Mirror не должны содержать предположений о совете, лидерстве, доверии или сравнении.

CH10-N15

промпты, касающиеся идентичности, деятельности, доказательств, совета, сравнения, времени и границ, должны храниться как отдельные группы.

CH10-N16

Различные семейства промптов не могут быть объединены в один средний показатель без объяснения.

CH10-N17

промпт не может заранее содержать ответ или желаемый результат.

CH10-N18

Положительные и отрицательные ведущие промпты не могут добавляться к основному нейтральному GEO-показателю.

CH10-N19

Источники, веб, цитирование и инструкции по инструментам должны регистрироваться как полевые материалы, которые модифицируют задачу промпта.

CH10-N20

Приказ использовать источник может быть дан одному продукту, и без его предоставления другому нельзя сравнивать точность продукта.

CH10-N21

Инструкции по длине и формату ответа должны быть эквивалентны в сравниваемых промптах.

CH10-N22

Контекст времени и географии должен сохраняться при переходе между языками.

CH10-N23

Относительные даты, такие как "сегодня", "прямо сейчас" и подобные, должны быть привязаны к абсолютному контексту даты в записи промпта.

CH10-N24

промпт-рекомендация не может генерировать общий показатель рекомендации без определенного профиля пользователя и области применения.

CH10-N25

Сравнительный запрос не может генерировать оценку превосходства продукта без заранее определённых критериев.

CH10-N26

Для неоднозначных запросов путь уточнения должен быть определён заранее.

CH10-N27

Результаты однократных и многократных запросов следует хранить как отдельные методы измерения.

CH10-N28

У пользователей с несколькими запросами должны быть зафиксированы или контролироваться эффекты порядка и контекста.

CH10-N29

Основной зеркальный промпт по умолчанию следует применять в новой отдельной сессии.

CH10-N30

Пилотный запрос следует держать отдельно от основного результата GEO и оценки проверяемого объекта.

CH10-N31

Среди нескольких кандидатских запросов самый благоприятный не может быть выбран после того, как результат стал известен.

CH10-N32

Набор запросов и распределение по семействам должны быть заморожены до получения результата.

CH10-N33

Если помимо открытого набора запросов предполагается использование запечатанных проверочных запросов, хэш и записи управления должны быть созданы до сбора данных.

CH10-N34

Запечатанные запросы должны быть объяснимыми и оспоримыми после измерения.

CH10-N35

Секретные промпты являются конфиденциальными и не могут использоваться в качестве произвольных критериев соответствия.

CH10-N36

Аудируемое лицо не может определять ответ, направление или уровень сложности промпта.

CH10-N37

Возражения по идентичности и объему аудируемого лица должны рассматриваться с обоснованием исключительно до сбора данных.

CH10-N38

Когда версия промпта меняется, старые и новые результаты должны записываться отдельно.

CH10-N39

Существенные изменения промпта не могут представляться как скрытое исправление.

CH10-N40

Если в ходе волны возникает ошибка промпта, старые и новые наблюдения нельзя объединять под одной версией.

CH10-N41

промпт, предоставленная участнику, должна соответствовать фактическому тексту, отправленному в ИИ-продукт.

CH10-N42

Участник не может изменять, сокращать или переписывать контролируемую промпт.

CH10-N43

Подсказки не могут даваться с использованием невидимых символов или скрытых инструкций.

CH10-N44

Полный текст запроса, его представление в Юникоде и контрольная сумма целостности должны быть сохранены.

CH10-N45

Если равнозначность запроса или его действительность неизвестны, следует использовать статус НЕИЗВЕСТНО или соответствующий статус отсутствия информации.

CH10-N46

Роли подготовки запроса и утверждения его эквивалентности должны быть максимально разделены.

CH10-N47

Изменения в запросе и возражения должны вестись в журнале изменений с версиями.

CH10-N48

Реестр запросов и решение о его эквивалентности должны иметь ответственного человека или институционального владельца.

70. ФОРМЫ ОШИБОК

CH10-F01— РАССМОТРЕНИЕ ОДНОГО И ТОГО ЖЕ СУЩНОСТНОГО ОБЪЕКТА КАК ОДНОГО И ТОГО ЖЕ ЗАПРОСА

Разные задачи и намерения объединяются как одна группа вопросов.

CH10-F02— РАССМОТРЕНИЕ ОДНИХ И ТЕХ ЖЕ СЛОВ КАК ОДНОГО И ТОГО ЖЕ ЗНАЧЕНИЯ

Сходство слов между языками рассматривается как семантическая эквивалентность.

CH10-F03— УЧИТЫВАНИЕ МАШИННОГО ПЕРЕВОДА КАК ОКОНЧАТЕЛЬНОГО ЗАПРОСА

Локальная естественность и различие задач не исследуются.

CH10-F04— ПОКЛОНЕНИЕСЬ ОБРАТНОМУ ПЕРЕВОДУ

Поскольку обратный перевод напоминает исходный текст, целевой запрос считается естественным и эквивалентным.

CH10-F05— СДВИГ ЯКОРЯ СУБЪЕКТА

Перевод упоминает другую компанию, продукт или юридическое лицо.

CH10-F06— ЗАПРОС, СЧИТАЮЩИЙ ДОМЕН КАК КОМПАНИЮ

Имя домена напрямую определяется как компания, а разрешение сущности выполнено заранее.

CH10-F07— РАЗМЕЩЕНИЕ КАТЕГОРИИ В ЗАПРОСЕ

Вопрос «Чем занимается компания X в области технологий?» не может измерять точность категории.

CH10-F08— ПРЕДПОЛАГАНИЕ ЛИДЕРСТВА

Запрос «Почему X является мировым лидером?» преобразуется в тест на лидерство.

CH10-F09— ПРЕДПОЛАГАНИЕ ДОВЕРИЯ

Фраза «Надежная компания X» помещает результат доверия в ответ.

CH10-F10— НЕГАТИВНАЯ ПОРОЧНАЯ промпт

Утверждения типа «Почему X является мошенником?» предполагаются без доказательств.

CH10-F11— ОБРАЩЕНИЕ С ОФИЦИАЛЬНОЙ ИНСТРУКЦИИ КАК К ОБЩЕЙ ИСТИНЕ

ИИ использует только сайт компании; результат оценивается с проверенным уровнем реальности.

CH10-F12— ПРЕДОСТАВЛЕНИЕ ИНСТРУКЦИИ ВЕБ-ДЛЯ ПРОДУКТА

Продукты сравниваются в различных информационных режимах.

CH10-F13— промпт СКРЫТИЯ ЦИТАТЫ

Одна промпт вызывает источник, другая — нет; подсчитываются количество цитирований.

CH10-F14— СКРЫТИЕ ОГРАНИЧЕНИЯ ДЛИНЫ

Отсутствие ограничения в коротком ответе напрямую сравнивается с количеством ошибок в длинном ответе.

CH10-F15— СОЧЕТАНИЕ ИДЕНТИЧНОСТИ И РЕКОМЕНДАЦИИ

«Что делает X и порекомендуете ли вы его мне?» становится одной оценкой.

CH10-F16— ИЗМЕНЕНИЕ ПЕРСОНАЖА

Обычный пользователь определяется на одном языке, состоятельный корпоративный клиент — на другом.

CH10-F17— ГЕОГРАФИЧЕСКОЕ ИЗМЕНЕНИЕ

Один запрос глобальный, другой запрос превращается в вопрос о местной услуге.

CH10-F18— ИЗМЕНЕНИЕ ВРЕМЕНИ

Один язык требует актуальных данных, другой язык требует исторических знаний.

CH10-F19— ИЗМЕНЕНИЕ ФОРМАТА

Один язык требует одного предложения, другой язык требует подробного объяснения.

CH10-F20— ИЗМЕНЕНИЕ СТИЛЯ РЕЧИ

Один язык нейтральный, другой становится повелительным или агрессивным.

CH10-F21— ИЗМЕНЕНИЕ ИНТРИГИ БЕЗОПАСНОСТИ

Перевод создаёт поведение отказа путём добавления ненужных чувствительных терминов.

CH10-F22— ИНТЕРПРЕТАЦИЯ НЕЯСНОГО ЗАПРОСА ПОСЛЕ РЕЗУЛЬТАТА

Когда ответ не удаётся, цель запроса определяется заново.

CH10-F23— РАССМОТРЕНИЕ УТОЧНЕНИЯ КАК НЕУДАЧИ

В случае подлинной неоднозначности соответствующий уточняющий вопрос наказывается.

CH10-F24— СВОБОДНЫЙ ОТВЕТ В УТОЧНЕНИИ

В контролируемом эксперименте каждый пользователь даёт своё объяснение.

CH10-F25— ОБЪЕДИНЕНИЕ МНОГОРАУНДОВЫХ РЕЗУЛЬТАТОВ В ОДИН РАУНД

Эффект предыдущего контекста стирается.

CH10-F26— ИГНОРИРОВАНИЕ ЭФФЕКТА ПОРЯДКА ЗАПРОСОВ

Начальные вопросы влияют на последующие рекомендации.

CH10-F27— ШПИОНАЖ ЗАПРОСОВ

Набор вопросов, который приносит наибольшее количество баллов, выбирается после получения результата.

CH10-F28— УДАЛЕНИЕ СЕМЕЙСТВ промптов С НИЗКИМИ БАЛЛАМИ

Проблемные или рекомендательные вопросы удаляются из окончательной книги.

CH10-F29— СОДЕРЖАНИЕ, СПЕЦИФИЧНОЕ ДЛЯ ТЕСТА

Учреждение создает только контент, который отвечает опубликованным предложениям промптов и заявляет о соблюдении общих стандартов GEO.

CH10-F30— СОЗДАНИЕ РЕЗЕРВНЫХ ПОДСКАЗОК ПОЗДНЕЕ

Новые секретные промпты создаются на основе анализа результатов.

CH10-F31— СЕКРЕТНЫЙ ПРОИЗВОЛЬНЫЙ СТАНДАРТ

Запечатанные промпты не разглашаются и не могут оспариваться после измерения.

CH10-F32— ПЕЧАТАНИЕ промпта ДЛЯ КЛИЕНТА

Аудируемая организация определяет тексты вопросов в свою пользу.

CH10-F33— ПОЗВОЛЕНИЕ УЧАСТНИКУ ВЫБРАТЬ промпт

Пользователь выбирает промпт, от которой он получит наиболее комфортный или положительный ответ.

CH10-F34— НАПИСАНИЕ промпта ВРУЧНУЮ

Изменения в написании и словах вызывают систематическое отклонение.

CH10-F35— НЕВИДИМАЯ ИНСТРУКЦИЯ

В промпт вставляется инструкция, скрытая от пользователя.

CH10-F36— НЕХЭШИРОВАННАЯ промпт

Невозможно доказать, что текст промпта не изменился после измерения.

CH10-F37— UNICODE ОТКЛОНЕНИЕ

Невидимые или похожие символы изменяют якорь сущности.

CH10-F38— ИГНОРИРОВАНИЕ НЕСОВПАДЕНИЯ промпта

Наблюдение считается действительным, даже если назначенный и предоставленный текст отличаются.

CH10-F39— РАССМОТРЕНИЕ промпта, ПРЕОБРАЗОВАННОЙ СИСТЕМОЙ, КАК ОШИБКИ УЧАСТНИКА

промпт продукта была преобразована; пользователь исключен.

CH10-F40— СОХРАНИТЬ ОБЛАСТЬ СЕМЕЙСТВА промптов

Измеряется только вопрос о личности; полный балл GEO публикуется.

CH10-F41— ПОДСЧИТАТЬ ОСНОВНУЮ промпт ВО ВСЕМ GEO

Один вопрос используется вместо всех измерений доказательств, границ, рекомендаций и времени.

CH10-F42— ДОБАВИТЬ ЯЗЫКОВОЙ ПИЛОТ К ОСНОВНОЙ ОЦЕНКЕ

Ответы теста инструмента промптов наблюдаются для фактического GEO.

CH10-F43— ПОКАЗАТЬ ИСХОДНУЮ промпт АДЖУДИКАТОРУ

Адъюдикатор насильно интерпретирует промпт на целевом языке согласно исходному языку, а не естественному значению.

CH10-F44— ОСТАВИТЬ ЯЗЫКОВОЕ ЭКВИВАЛЕНТНОСТЬ ОДНОМУ ИИ

Один и тот же тип генеративной системы одобряет собственный перевод и эквивалентность самостоятельно.

CH10-F45— СУЩЕСТВЕННОЕ ИЗМЕНЕНИЕ С ПАТЧЕМ

Изменение в задаче и предположении версионируется как незначительная опечатка.

CH10-F46— ТИХОЕ ИСПРАВЛЕНИЕ В СРЕДИНЕ ВОЛНЫ

Старые и новые ответы на промпта смешаны в одной версии.

CH10-F47— УЧЁТ ДЕФИЦИТА ЭКВИВАЛЕНТНОСТИ промптов КАК ОШИБКИ ЯЗЫКА ИИ

Дефект инструмента приписывается продукту.

CH10-F48— ЗАЩИТА ОШИБКИ ЯЗЫКА ИИ С ПОМОЩЬЮ ПЕРЕВОДА

Хотя эквивалентность сильна, существенная порча языка связана с промптом.

71. ПРОЦЕДУРА АУДИТА

Шаг 1— Напишите исследовательский вопрос

Чётко указано, на что измерение пытается ответить.

Шаг 2— Определите прогнозируемое количество

Указано, какой пользователь, продукт, промпт и распределение времени прогнозируются.

Шаг 3— Назначить семью промптов

Определяется семейство: основной, идентификационный, по объему, доказательствам, рекомендациям, времени или другое.

Шаг 4— Создать канонический краткий обзор намерения

Определяются Сущность, Намерение, Задача, Объем, Исключения, Допущения, Источник, Загрузка, Формат.

Шаг 5— Написать промпт на исходном языке

Подготавливается естественный, нейтральный и сопоставимый текст.

Шаг 6— Проверить опорную сущность

промпт сравнивается с записью Раздела 3, которая вызывает правильную сущность.

Шаг 7— Аудит управления и предубеждений

Осуществляется поиск положительного, отрицательного или эпистемического повышения.

Шаг 8— Запись инструкций по источникам и инструментам

Веб-, цитатные и форматирующие задачи четко классифицируются.

Шаг 9— Подготовка языковых и локализованных версий

Основные переводчики формируют промпты в соответствии с каноническим намерением.

Шаг 10— Выполнение независимого обратного перевода

Человек, не связанный с первоначальным переводчиком, выполняет обратный перевод.

Шаг 11— Оценка измерений эквивалентности

Оценка проводится между EQ-1 и EQ-12.

Шаг 12— Проведение пилотного тестирования среди локальных пользователей

Тестируются естественность, намерение и подразумеваемое значение на местных пользователях.

Шаг 13— Проведение экспертного обзора

Получается необходимое одобрение экспертов для промптов с высоким риском или юридическим содержанием.

Шаг 14— Присвоение уровня эквивалентности

Статус присваивается между PE-0 и PE-5.

Шаг 15— Определение пути уточнения

Определяется однораундовое или стандартное последующее сообщение.

Шаг 16— Заморозка порядка и назначение запроса

В случае нескольких запросов записываются порядок, сессия и дизайн блока.

Шаг 17— Разделение открытых и закрытых наборов запросов

Если будет использоваться удержание, создаются хэш и запись управления.

Шаг 18— Создание версии запроса

Присваивается основной, второстепенный или патч-уровень.

Шаг 19— Создание записи технической целостности

Хранятся полный текст, Юникод, хэш и формат доставки.

Шаг 20— Подтверждение блокировки конституции запроса

Добавляется одобрение человека и метка времени до просмотра ответов ИИ.

Шаг 21— Проверка точности поля запроса

Сравниваются назначенные и доставленные промпты.

Этап 22— Проверка дрейфа и ошибок

Изменения в промптах, вызванные языком, техническими причинами или пользователем, классифицируются.

Этап 23— Управление изменениями в волне

Определяется, нужна ли новая версия или подволна.

Этап 24— Публикация публичного реестра промптов

Открытые промпты, версии, эквивалентности и ограничения становятся видимыми.

72. ТРЕБУЕМАЯ ДОКАЗАТЕЛЬСТВО

Исследовательский вопрос; эстимация; семейство промптов; краткий вариант с каноническим намерением; якорь сущности; идентификатор целевой сущности; промпт на исходном языке; версии по языку и локали; сведения об идентичности и квалификации переводчика; независимые обратные переводы; записи семантического сравнения; оценки по измерениям эквивалентности; уровень эквивалентности; пилотное тестирование местными пользователями; заметки по пилотному интервью; обзор эксперта в предметной области; обзор предположений и наводящего языка; инструкции исходного текста и инструмента; формат ответа; временные и географические рамки; протокол уточнений; статус одного или нескольких ходов; порядок промптов; план распределения промптов; различие между контролируемым/естественным треком; Публичный нормативный набор; хэш запечатанного валидационного набора; запись управления удержанием; версия промпта; обоснование major/minor/patch; полная строка символов; нормализация Unicode; хэш промпта; и дата блокировки.

Утверждение человеком Запрос доставлен участнику Запрос отправлен в ИИ-продукт результат точности запроса Записи о несоответствии запроса Классы дрейфа Изменения в потоке Возражения по запросу Журнал изменений Публичный реестр запросов Ответственное лицо или организация

73. ЧЕК-ЛИСТ АУДИТА

Ясно ли исследовательский вопрос? Какую целевую величину измеряет промпт? Определено ли семейство промптов? Связан ли якорь сущности с правильной сущностью? Включает ли промпт категорию целевой сущности в ответ? Существует ли положительное или отрицательное предположение? Разделены ли задачи определения, рекомендации и сравнения? Заставляет ли промпт использовать источники или интернет? Одинакова ли эта инструкция для всех продуктов? Эквивалентны ли длина и формат ответа? Явно ли указан временной период? Сохранены ли география и юрисдикция? Натуральна ли промпт на исходном языке? Опирается ли промпт на целевой язык на каноническом намерении? Использовался ли только машинный перевод? Была ли выполнена независимая обратная проверка перевода? Была ли проведена пилотная проверка с местными пользователями? Сохраняет ли промпт одну и ту же задачу на разных языках?

Изменилась ли анкерная сущность между языками? Существует ли пресуппозиция или дрейф эпистемической нагрузки? Существенно ли различаются регистр и тон? Зависит ли локализация от реальных местных различий? Видим ли уровень эквивалентности промпта? Не сработал ли один из критических шлюзов эквивалентности? Был ли путь уточнения заранее определён? Были ли результаты однократного и многократного взаимодействия разделены? Был ли порядок промптов случайным или сбалансированным? Применялась ли основная промпт в отдельной новой сессии? Был ли пилот промпта добавлен к фактическому GEO-результату? Была ли промпт выбрана на основе результатов? Были ли позднее удалены промпта с низким рейтингом? Были ли публичные и закрытые наборы промптов предварительно записаны? Существует ли хэш отложенной промпта до измерения?

Вмешивалась ли проверяемая организация в выбор промпты? Верна ли версия промпты? Была ли существенная модификация представлена как патч? Изменилась ли промпт тихо во время волны? Соответствуют ли назначенные и отправленные промпты? Изменил ли участник промпт? Есть ли невидимый символ или скрытая инструкция? Сохранены ли полный текст и хеш промпты? Есть ли ясный ответственный за эквивалентность промпты и запись изменений?

74. ВОЗРАЖЕНИЯ И ОТВЕТЫ

Возражение 1— «Разве было бы справедливо, если бы мы давали одинаковый приговор всем пользователям?»

Он обеспечивает строгий контроль внутри одного языка. Та же последовательность символов не может использоваться в разных языках. Справедливость заключается в том, чтобы предоставлять один и тот же семантический и нормативный задания пользователям разных языков.

Возражение 2— «Разве дословный перевод не является самым нейтральным методом?»

Дословный перевод может создавать промпты на другом языке, которые звучат неестественно или выполняют другую функцию. Нейтральность — это не точность слов, а эквивалентность задачи.

Возражение 3— «Машинный перевод сильно улучшился; зачем нужен человеческий контроль?»

Машинный перевод может создавать качественные черновики. Однако:

• местный тон,
• предположение
• путаница сущностей,
• юридическая нюанс

может потребоваться проверка человеком и местным пользователем.

Возражение 4— «Если обратный перевод возвращается к исходному тексту, разве это не делает промпт эквивалентной?»

Не всегда. промпт на целевом языке может быть неестественной или иметь другие социальные коннотации. Нужен местный когнитивный пилот.

Возражение 5— Почему не использовать непосредственно «Что это за компания Apple.com?»?

Он ценен как естественный пользовательский запрос. В контролируемом тестировании он может онтологически связывать доменное имя с компанией. Два следа запроса могут использоваться отдельно.

Возражение 6— «Пользователи уже задают ошибочные и короткие запросы.»

Это правильно. Трек естественного пользователя измеряет эту реальность. Контролируемый канонический трек обеспечивает чистое сравнение между продуктами и языками. Они дополняют друг друга.

Возражение 7— «Если одного запроса недостаточно для GEO, почему мы даём один и тот же запрос всем людям 1,000?»

Ядро зеркального запроса измеряет базовое распределение идентичности с высокой точностью. Полная геооценка также требует диагностических семейств запросов. Это измерение только заголовка одного запроса. Это не сам стандарт полностью.

Возражение 8— «Если мы будем открыто публиковать промпты, компании разве не станут их оптимизировать?»

Возможно. Прозрачные публичные промпты:

• методологическая прозрачность
• воспроизводимость

обеспечивать. Запаянный отложенный набор может тестировать переобучение только на открытом вопросе. Обе метода следует использовать вместе.

Возражение 9— «Скрытая промпт нечестна.»

Произвольные и последовательно сгенерированные скрытые промпты нечестны. Набор для удержания, который заранее хеширован, привязан к нормативным семействам и раскрыт после измерения, может быть более оправданным.

Возражение 10— «Почему компания не должна одобрять промпты о себе?»

Ошибки идентичности и области могут быть зафиксированы до сбора данных. промпт не может определить:

• направление,
• ответ,
• уровень сложности

Аудируемая сторона не может писать собственный экзамен.

Возражение 11— «Почему просьба о цитате является проблемой?»

Это не проблема. Тем не менее, промпт с цитатой — это другая задача. Ее нельзя смешивать с промптом для естественного описания без источников с той же оценкой.

Возражение 12— «Что пользователь будет делать, если ИИ запросит уточнение?»

Путь для уточнения определяется заранее. Основной балл за один раунд может зафиксировать уточнение как результат. Отдельный многораундовый путь может использовать стандартный ответ с объяснением.

Возражение 13— «Если изменить хотя бы одно слово промпта, становится ли недействительной вся волна?»

Не каждое изменение является существенным. Технические различия на уровне патча можно фиксировать отдельно. Новая версия требуется, если меняется намерение, задача, объем или предположение.

Возражение 14— «Почему требуется хэш запроса?»

Чтобы подтвердить, что вопрос не был тихо изменен после измерения, какой текст был предоставлен участникам и что версии были разделены. Один только хэш не доказывает, что вопрос хороший. Он сохраняет его целостность.

Возражение 15— «Если естественные промпты отличаются у разных людей, как мы будем формировать оценку?»

Естественные промпты:

• семья,
• намерение,
• языка,
• сложность

Её можно классифицировать с точки зрения обслуживания. Натуральная трасса требует отдельной выборки и системы весов. Она не заменяет Контролируемый основной запрос.

Возражение 16— «Разве этот процесс не очень дорог для каждого языка?»

Он может быть дорогим. Ограниченный пилотный проект можно провести с более низким уровнем уверенности. Следует указать правильный статус. Стоимость не даёт права производить определённый языковой балл на основе неэквивалентных запросов.

ОБЩЕЕ ПОЛОЖЕНИЕ ГЛАВЫ 78

Вы можете думать, что измеряете ответ ИИ. На самом деле вы сначала измеряете свой собственный вопрос. Ваш вопрос:

• если он неопределённый, неопределённость ответа увеличивается,
• если он директивный, вы измеряете соблюдение указаний,
• если он содержит ответ, вы не можете измерить независимое представление,
• если он требует наличия ошибки, даже правильная система может говорить о неверном объекте
• если это вынуждает использовать ресурсы, вы можете изменить поведение натурального продукта,

Если им нужен совет, вы измеряете решение о пригодности пользователя, а не оценку идентичности. Давать одно и то же промпт всем пользователям — это хорошая идея. Однако значение слова «одинаковый» должно быть правильно определено. Турецкий пользователь должен получать турецкое промпт. Японский пользователь должен получать японское промпт. Арабский пользователь должен получать арабское промпт. Тексты не могут состоять из одинаковых символов. Но одинаковыми являются:

• существование,
• намерение,
• задача,
• объем охвата,
• бремя доказывания,
• подразумеваемое предположение

должен нести. На одном языке: «Что это за компания?» на другом: «Надежна ли эта компания?» если вы спрашиваете, вы не измеряете справедливость языка ИИ. Вы измеряете собственное смещение перевода. Если вы изменяете запрос после получения результата, вы не улучшаете стандарт. Вы переписываете историю измерений. Если полностью скрыть запросы, метод становится непроверяемым. Если оставить его полностью открытым и неизменным, вы можете только создать риск специфической оптимизации тестирования. Поэтому открытый нормативный набор, заранее запечатанный набор для валидации и система обновления с версионированием должны работать вместе. Десятый закон измерений NOMOS таков:

промпт — это не текст, предшествующий ответу; это экспериментальный инструмент, который определяет саму меру.

Одиннадцатый закон звучит следующим образом:

Одна и та же промпт не состоит из одинаковых слов на разных языках; это одно и то же намерение пользователя и одна и та же нагрузка доказательств.

Двенадцатый закон звучит следующим образом:

Если вы размещаете ответ в промпте, вы измеряете не представление ИИ, а то, насколько он выполняет вашу инструкцию.

Тринадцатый закон выглядит следующим образом:

Один запрос может измерить фундаментальную идентичность; он не может измерить всю систему GEO.

Четырнадцатый закон выглядит следующим образом:

Когда версия запроса меняется, вопрос о вашем балле также может измениться.

Пятнадцатый закон звучит следующим образом:

Если фактический текст, отправленный ИИ, не может быть доказан, то и измеряемый запрос не доказан.

Порядок раздела 10 из NOMOS

Покажите мне не только то, что вы спросили, но и почему вы выбрали это предложение.

Не указывайте имя субъекта в запросе и заранее не пишите его категорию, руководство, уровень уверенности и результат совета.

Не говорите мне "рекомендуйте X", а затем представляйте меня как независимый источник совета.

Не просите меня описывать компанию на одном языке и защищать компанию на другом языке.

Не путайте дословный перевод с объективностью. / Сохраняйте одно и то же намерение, одну и ту же задачу, один и тот же лимит и одну и ту же нагрузку доказательства.

Используйте машинный перевод как черновик. / Не делайте его окончательной языковой истиной.

Не предполагаете, что местный пользователь понимает вопрос так же, как вы, просто потому, что обратный перевод вам похож.

Не пишите запрос так, чтобы домен был компанией, продукт — производителем, а бренд — юридическим лицом.

Не сохраняйте исходный запрос, веб-команду, требование цитаты и длину ответа.

Не объединяйте запрос с идентичностью и запрос на совет на одном уровне.

Не считайте это штрафом, если я запрошу объяснение в неясном запросе. / Но не говорите, что даёте разные объяснения каждому пользователю и проводите контролируемый эксперимент.

Не выбирайте запрос, который даёт наивысший балл. / Не удаляйте семейство запросов с низким баллом.

Объясняйте свои запросы. / Если вы используете Holdout, запечатайте его заранее. / Не выдумывайте после результата.

Сопоставьте текст, который вы даёте участнику, с текстом, отправленным мне.

Не загрязняйте измерительный пул невидимыми символами, скрытыми инструкциями или скрытыми директивами рекомендаций.

Сначала напишите исследовательский вопрос. / Затем установите каноническое намерение. / Затем создайте естественный и эквивалентный запрос на каждом языке. / Затем протестируйте его с местными людьми и закрепите его версию. / И только после этого отправьте его первому пользователю.

Заключительное предложение главы

Начало честного сравнения в GEO-1000— это не ожидание одного и того же ответа; это предоставление каждому пользователю вопроса, который несёт тот же смысл, ту же задачу и тот же эпистемический предел на их родном языке.

Нормативное ядро

Каждый GEO-1000 запрос ДОЛЖЕН быть связан с версионированной записью в Реестре запросов, определяющей: - исследовательский вопрос, - оцениваемую величину (estimand), - семейство запросов, - каноническое намерение, - анкоровую сущность, - намерение пользователя, - речевой акт, - область, - географические и временные рамки, - предпосылки, - требования к доказательствам и источникам, - формат ответа, - язык, - локаль, - статус эквивалентности, - версию, - и запись целостности. В пределах одной ячейки запроса для языка и локали участники ДОЛЖНЫ получать один и тот же зафиксированный текст запроса. Между языками и локалями запросы ДОЛЖНЫ сохранять семантическую, функциональную и нормативную эквивалентность, а не буквальную идентичность слова в слово. Якорь сущности, намерение пользователя, речевой акт, область применения, пресуппозиция и эпистемическая нагрузка являются некопенсационными воротами эквивалентности. Машинный перевод или обратный перевод сами по себе НЕ ДОЛЖНЫ устанавливать эквивалентность промптов. Основная идентичность, доказательства, рекомендации, сравнения, временные, локальные, граничные, устойчивость, контроль и удерживаемые промпты ДОЛЖНЫ оставаться отдельными семействами промптов. Ведущие промпты, содержащие ответ, положительно или отрицательно пресуппозиционные, ограниченные источником, ограниченные форматом или рекомендательные промпты НЕ ДОЛЖНЫ молча оцениваться как нейтральные основным зеркальным промптам. Наборы промптов, языковые версии, правила назначения, пути уточнения, порядок и обязательства по удержанию ДОЛЖНЫ быть зафиксированы до наблюдения ответов ИИ. Выбор запроса после получения результата, удаление семейства запросов, тихое редактирование в середине волны и переформулирование, ориентированное на результат, запрещены. Запрос, назначенный участнику, и запрос, фактически отправленный в продукт ИИ, ДОЛЖНЫ быть проверены на целостность. Скрытые инструкции, невидимые символы или незадокументированные манипуляции, направляющие ИИ к предпочтительному объекту, утверждению, ссылке или рекомендации, запрещены. Каждое изменение запроса, решение о переводе, суждение о эквивалентности и запись в реестре ДОЛЖНЫ быть версионированы и приписаны ответственному человеку или организации.