Анализ личности через тексты с помощью ChatGPT.
В крупных компаниях при найме сотрудников всё чаще применяют психологические тесты, чтобы выявить личностные характеристики и предотвратить угрозы, связанные с человеческим фактором.
Часто такое тестирование проводят незаметно, и здесь на помощь приходят тексты, в которых отразилась личность автора. Это могут быть сообщения в социальных сетях, электронные письма, документы, эссе.
Анализ этих текстов поручают большим языковым моделям. Исследовательницы из лаборатории нейронных систем и глубокого обучения МФТИ, Мария Молчанова и Дарья Ольшевская, задались вопросом, может ли ChatGPT решить задачу классификации черт личности лучше, чем традиционные тесты.
Их также интересовал ход «рассуждений» модели и что на него влияет. Для анализа исследователи взяли массив данных с текстами, написанными в разной стилистике, включая эссе и посты в социальных сетях.
Из этого массива выбрали по 150 фрагментов для тестирования, чтобы на их примере ChatGPT отделил экстравертов от интровертов. Каждый фрагмент текста прошёл два цикла тестирования, ответы оценивали по степени достоверности, точности и полноты.
Как отметили авторы, отличие в качестве определения черт может быть связано с разными параметрами, например, разной длиной текстов, тематикой, форматом — эссе, сообщения из социальных сетей и так далее. Так, посты из социальной сети Twitter хуже всего отражали психологические характеристики их авторов.
«Большая языковая модель в нашем эксперименте немного отстаёт от стандартных подходов, но у неё есть ряд плюсов, — рассказала исследовательница лаборатории нейронных систем и глубокого обучения МФТИ Мария Молчанова. — Работа с ней даёт простор для новых задач.
В отличие от традиционных подходов, модель может думать логически и объяснять, почему приняла то или иное решение. Также большие языковые модели дают возможность гибкой настройки инструкций, в которых исследователи могут задавать методы, с помощью которых модель может осуществлять классификацию».
Использование большой языковой модели позволяет автоматизировать не только процесс тестирования, но и анализ ответов. Выяснилось, что при разных подходах к созданию запроса модель генерирует разные ответы разной длины и детализации.
«Мы создали инструмент, который позволяет расширить список черт личностей, а не только выявлять экстравертов и интровертов», — подчеркнула исследовательница.