Нейросети провалили экзамен по истории в УрФУ

На знание истории – фактов и терминологии – нейросети Chat GPT и Sage проверил доцент кафедры истории России вуза Михаил Киселёв. По итогу нейросети получили «тройку», Киселёв сравнил поведение нейросетей с ответом «студента-импровизатора», который кое-что выучил, но делает вид, что знает всё.

«Там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», – рассказывает Михаил Киселев.

На экзамене по истории нейросеть показала себя серым троечником.Фото: Christopher Gower/Unsplash

Например, обе нейросети дали приемлемый ответ на вопрос «В чём разница между историческими и историографическим источниками?». Но со сложным историческим материалом нейросеть не справляется, особенно когда дело касается терминов из языков разных эпох:

«На вопрос, „что такое духовная (исторический термин XVI века для слова «завещание». – прим.) Василия III?“ нейросети показали незнание исторической терминологии. Chat GPT заявил, что „это период правления российского царя Василия III (1479-1533), когда произошло значительное развитие православной церкви в России“, а Sage, что „это название церковной реформы, проведенной российским царем Василием III в конце XV — начале XVI веков“».

На вопрос «Какие историки писали о завещании Василия III?» обе нейросети сперва начали «лить воду», заявляя, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных историков типа Сергея Соловьёва и Василия Ключевского.