ОСМЫСЛЯЯ ПРОСТРАНСТВО: КАК ИСПОЛЬЗУЮТ СХЕМЫ ТОПОЛОГИЧЕСКОЙ СЕМАНТИКИ ЕСТЕСТВЕННЫЕ И ИСКУССТВЕННЫЕ КОГНИТИВНЫЕ АГЕНТЫ (НА МАТЕРИАЛЕ ОПИСАНИЙ КАРТИН ИЗ КОЛЛЕКЦИИ ЭРМИТАЖА)

Аннотация

Статья посвящена описанию различий в концептуализации пространства, наблюдаемых у информантов, генеративных языковых моделей и моделей компьютерного зрения, способных генерировать текст описания «увиденного». Мы используем понятие когнитивного агента и обосновываем различение «естественный vs искусственный когнитивный агент»: под первым понимается человек, под вторым – модель ИИ, способная принимать решения и выполнять задачи адекватно заданной ситуации. Цель исследования – сравнить способы осмысления местоположения объекта в пространстве, в том числе относительно других объектов, у естественных когнитивных агентов (ЕКА) и искусственных когнитивных агентов (ИКА) двух типов: больших языковых моделей, способных генерировать текст, и моделей, созданных для решения задачи Image to Text. Основными методами выступили метод лингвистического эксперимента и метод семантического описания на основе теории топологической семантики Л. Талми. В качестве стимульного материала использовались шесть картин из коллекции Государственного Эрмитажа, разделенные на три группы: портреты, монофигурные картины на мифологическую или религиозную тематику, многофигурные композиции. Участниками экспериментов выступили: 63 информанта (Mean age = 19,1, 48 девушек, 15 юношей), 5 мультиязычных генеративных моделей, 6 моделей Image to Text, основанных на технологии компьютерного зрения и способных генерировать описания распознанных изображений на английском языке. Используя типологию конфигурационных топологических схем и схем типа «фигура – фон» в концепции топологической семантики Л. Талми, мы сравнили способы осмысления пространства, на которые опираются а) большие языковые модели; б) модели Image to Text и в) информанты. В результате мы сформулировали ряд выводов, главный из которых заключается в том, что ЕКА отличаются от ИКА своей способностью интегрировать процесс концептуализации объекта в пространстве в другие когнитивные процессы: распознавания сущности и категоризации, механизма внимания, осознания причинно-следственных связей. ИКА только учатся такой интегративности и взаимной координации, например, когда генеративные модели концептуализируют те объекты, в которых они не уверены, поскольку это продукты галлюцинирования, как объекты с нечеткими границами, а модели Image to Text объединяют в единый неоднородный объект человека и наиболее яркую оригинальную деталь его окружения, поскольку «считают», что это самое важное для задач описания изображения.