کاروایز/ evalsراهنماها و ابزارها
ارزیابی AIEN
ارزیابی AI، بدون پیچیدگی

Evals چیست؟
ارزیابی هوش مصنوعی

Evals یا ارزیابی هوش مصنوعی یعنی سنجیدن خروجی AI با معیارهای مشخص.
به‌جای اعتماد به یک جواب قشنگ، دقت، کیفیت و نتیجهٔ واقعی رو بررسی کن.

اطلاعات واقعی این مثالکفش «راه»ارسال: ۳ روزمرجوعی: ۷ روز
قبل از بررسیGmail
پیش‌نویس ایمیل معرفی

با کفش «راه»، هر روز راحت‌تر قدم بردار.
ارسال فوری رایگان و ۳۰ روز مرجوعی!
مدل موردعلاقه‌ات رو ببین.

قشنگ نوشته. قول اشتباه داده.۲ معیار از ۳ معیار درست
جواب رو بررسی کن
✓قول درست؟
✓دعوت روشن؟
✓کوتاه و خوانا؟
بعد از اصلاحGmail
پیش‌نویس اصلاح‌شده

کفش «راه» رو با ارسال ۳روزه و ۷ روز مهلت مرجوعی امتحان کن.
مدل موردعلاقه‌ات رو ببین.

روشن، دقیق، آمادهٔ بازبینی.۳ معیار از ۳ معیار درست
لحن مطمئن، درست‌بودن جواب رو ثابت نمی‌کند.

این یعنی ارزیابی؛ یا Eval. یک مثال، چند معیار، و نتیجه‌ای که دلیلش روشنه.

با خروجی خودت شروع کن؛ مثال‌های آماده هم در دسترس‌اند.

AI رو تغییر دادی؟ با همان معیارها دوباره بسنج.

یک مثال معمولی، یک مورد دشوار و یک جواب اشتباه رو نگه دار. بعد از هر تغییر، همان‌ها رو دوباره بررسی کن.

ارزیابی رو وارد کار واقعی کن

با هر تغییر سیستم، دوباره ارزیابی کن.

مثال‌های آزمون، سابقهٔ اجرا و نتیجهٔ تغییرها رو کنار هم نگه دار. این سه ابزار بهت کمک می‌کنن ارزیابی ایجنت یا ورک‌فلو رو به کار همیشگی تیم تبدیل کنی.

LangSmith

مثال‌های آزمون · مقایسهٔ تغییرها · سابقهٔ اجرا

نسخه‌های مختلف رو با همان مثال‌ها مقایسه کن و ببین پشت هر امتیاز چه اجرایی بوده.

Langfuse

اجرای واقعی · بازخورد · داور AI

به اجراهای واقعی امتیاز بده، بازخورد انسانی بگیر و مثال‌های مهم رو دوباره آزمایش کن.

Promptfoo

تست دقیق · روبریک · بررسی افت کیفیت

بعد از تغییر پرامپت، مدل یا کد، تست‌های دقیق و ارزیابی با روبریک رو دوباره اجرا کن.

معیارها و مثال‌هات رو در ابزار انتخابی تعریف کن. فایل این صفحه قالب کاروایز رو داره و ورود خودکار به این سرویس‌ها نیست. امتیاز داور AI رو هم با مثال‌های بازبینی‌شده توسط انسان مقایسه کن.