ارزیابیها
کیفیتی که
میتوانی نشان بدهی.
ارزیابی یک گیت کیفیت ذخیرهشده است: معیارها، آستانهها و یک داور LLM که خروجی را نمره میدهد و با گزارش کامل رأی میدهد. کار بیکیفیت قبل از انتشار متوقف میشود.
ارزیابی چیست.
یک EvalSuite اعلامشده با معیارها، آستانههای قبولی و داوری که رأی و گزارش شواهد تولید میکند.
- خروجی را در برابر معیارهای اعلامشده نمره میدهد
- از داور LLM استفاده میکند، نه چکلیست
- حالتهای قبولی: همه معیارها یا حداقل نمره
- رأی و گزارش کامل دلیل برمیگرداند
- گزارش ارزیابی پاسشده شواهد الزامی است
- در رجیستری ارزیابی ثبت میشود
دقیقاً چطور اینجا کار میکند.
موتور ارزیابی در .agents/company/evals/ با داور، مدلها و رجیستری است. دپارتمان Content مجموعه content-copy-top10 را اعلام میکند و گزارش ارزیابی پاسشده بخشی از شواهد الزامی است قبل از اینکه خروجی کمپین آماده علامت بخورد.
ارزیابی چطور کار میکند.
- 1
یک دپارتمان EvalSuite با معیارها و آستانهها ثبت میکند
- 2
ران یک خروجی تولید میکند
- 3
داور آن را در برابر معیارها نمره میدهد
- 4
رأی و گزارش با ران ذخیره میشود
- 5
خروجی فقط با گزارش پاسشده جلو میرود
این نظم را در شرکتات میخواهی؟
Agent Brief یکی از ورکفلوهای تو را به همین چرخه، تأییدها و شواهد وصل میکند.
ثبت درخواست — بررسی رایگان