Как выглядит действительно доброе утро
ClawRouter сам выбирает, какой моделью обрабатывать запрос, чтобы не переплачивать. Как это работает:
🟢 Оценивается запрос по разным признакам: сложность, код, длина — всего 14 пунктов.
🟢 За доли миллисекунд запрос отправляется в самую дешёвую подходящую модель — на выбор их, кстати, 40+ штук.
🟢 Всё решение принимается локально.
В итоге простые задачи уходят в дешёвые модели, сложные — в более мощные. Именно за счёт этого авторы и заявляют, что получится снизить расходы до 78%.
Экономия должна быть экономикой. 🤑
🟢 Оценивается запрос по разным признакам: сложность, код, длина — всего 14 пунктов.
🟢 За доли миллисекунд запрос отправляется в самую дешёвую подходящую модель — на выбор их, кстати, 40+ штук.
🟢 Всё решение принимается локально.
В итоге простые задачи уходят в дешёвые модели, сложные — в более мощные. Именно за счёт этого авторы и заявляют, что получится снизить расходы до 78%.
Экономия должна быть экономикой. 🤑
