Они создали бенчмаркинг с реальными кейсами малого и среднего бизнеса за годы деятельности — счета, расчеты, перерасчеты.
С задачами за первые месяцы LLM справляются прекрасно, но дальше контекстное окно начинает подкидывать приколы: ошибки множатся, ИИ не могут свести дебет с кредитом, придумывают переводы. Другими словами: делают что угодно, лишь бы суммы сошлись.
Например, когда в Claude не сходились цифры, он просто искал в истории транзакции на необходимую сумму и записывал их повторно ?