Исследователи представили новый подход к оценке метанорм в крупных языковых моделях (LLM), выявив значительные расхождения между их предсказаниями и человеческим восприятием социальных реакций. В отличие от предыдущих работ, сосредоточенных на распознавании базовых социальных норм, таких как «не воруй», новое исследование углубляется в так называемые метанормы — ожидания относительно того, кто и как будет применять эти правила. Эти вторичные ожидания, например, публичное порицание или тюремное заключение, определяют реакцию людей на нарушения социальных правил. Результаты показывают, что LLM склонны переоценивать негативные санкции, создавая более суровую картину социального мира, чем та, что существует в реальности.
Оценка метанорм в LLM
Для оценки метанорм в LLM был разработан новый фреймворк, который анализирует эмоциональную оценку и поведенческие реакции. В рамках этого фреймворка были предложены новые задачи классификации: прогнозирование саморегуляции у нарушителей и внешней регуляции у наблюдателей. Это позволяет более глубоко изучить, как модели понимают и интерпретируют сложные социальные взаимодействия, выходя за рамки простого распознавания допустимого и недопустимого поведения.
Набор данных NormReact и его выводы
В рамках исследования был выпущен многоперспективный набор данных NormReact, включающий 450 сценариев нарушения норм. Эти сценарии были вручную аннотированы с учетом эмоций и поведенческих реакций, принимая во внимание пол нарушителей и социальную близость наблюдателей. Анализ шести различных LLM показал, что они склонны предсказывать более суровый социальный мир. Модели чаще прогнозируют негативные санкции там, где люди ожидают бездействия. Согласованность с человеческими суждениями ухудшается по мере увеличения социальной дистанции между участниками сценария.
Искаженное представление о социальном регулировании
Полученные результаты указывают на то, что системы искусственного интеллекта, используемые в чувствительных к нормам областях, таких как разрешение конфликтов или симуляция политики, могут создавать искаженную картину социального регулирования. Эта картина чрезмерно акцентирует внимание на наказаниях и недооценивает такие аспекты, как терпимость, сдержанность и калибровка отношений, которые характерны для реального применения норм в человеческом обществе. Это может привести к неверным выводам и решениям, основанным на неполном или ошибочном понимании социальных динамик.
Источник: cs.AI updates on arXiv.org
