OpenAI привлекла сотни рецензентов для анализа переписок ChatGPT

Согласно информации 404 Media, компания OpenAI привлекла сотни внешних подрядчиков для анализа реальных пользовательских переписок в ChatGPT. Этот проект, известный под кодовым названием Project Lily, предоставил журналистам доступ к внутренним документам, таким как инструкции для рецензентов и система оценки ответов. Основной задачей рецензентов было пересказывать намерения пользователей и оценивать реакцию чат-бота, чтобы улучшить качество его ответов.

Рецензенты анализировали целые диалоги, включая те, которые содержали личные данные, что подтвердили в 404 Media. Один из сотрудников OpenAI отметил, что пользователи вряд ли догадываются, что их переписки проверяют сторонние подрядчики. В отличие от обычных проверок на нарушение правил, Project Lily является отдельным процессом.

Процесс работы рецензентов был следующим: они выбирали задачу, читали запрос, описывали намерения и оценивали ответы ChatGPT. Инструкции требовали выделить минимум три фрагмента из предложенных ответов, объясняя свой выбор. Оценка ответов проводилась по шкале от 1 до 7, в зависимости от качества и соответствия требованиям.

Секретность и конфиденциальность информации оставались на высоком уровне, так как документы не уточняли, какая именно модель обучается, и не упоминали, идет ли речь об уже доступной модели или новой разработке. Рецензенты должны были избегать использования ИИ-речи и неуместных эмодзи, а также учитывать контекст при ответах.

Запросы поступали обезличенными, однако рецензенты все равно сталкивались с личными данными пользователей. OpenAI утверждает, что все переписки проходят через фильтр конфиденциальности, хотя он имеет свои ограничения. В 404 Media отметили, что пользователи не ожидали, что их запросы могут быть прочитаны людьми, и спросили, предупреждает ли OpenAI об этом.

OpenAI заявила, что на сайте указано, что люди могут просматривать контент для улучшения модели, хотя это относится к нарушениям правил и угрозам безопасности. Настройки конфиденциальности допускают использование данных для улучшения моделей, и пользователи могут отключить эту опцию самостоятельно.

Рецензенты, работающие с ChatGPT, получали более $50 в час, что значительно выше стандартных ставок для модераторов соцсетей и работников ИИ-разметки. Однако, как отметила профессор Сара Т. Робертс, такая оплата может быть временной, так как человеческий труд в этой сфере обычно недооценивают. Поддержка и улучшение ИИ требуют постоянного человеческого вмешательства, что подчеркивает важность таких проектов.