اس صفحہ پر
ایک واپس کیے گئے آرڈر کا جواب بھیجنے کے لیے تیار لگتا ہے: قواعدِ زبان کے لحاظ سے درست، دوستانہ اور مختصر۔ اس مثالی صورت میں خودکار نمبر اسے پورے نمبر دیتا ہے۔ معاون گاہک کو یہ بھی بتاتا ہے کہ رقم واپس ہو چکی ہے، حالانکہ کسی نے ادائیگی کا نظام نہیں دیکھا۔
غلطی کمزور جملہ نہیں۔ اچھے کی کمزور تعریف ہے۔
حاصل شدہ جانچ کا مظاہرہ سافٹ ویئر دستاویز لکھنے والے ایجنٹ کے لیے نمبر بناتا ہے۔ دلچسپ لمحہ وہ ہے جب کام جاننے والا شخص معیار بیان کرتا ہے اور ٹول اسے شرائط میں بدلتا ہے۔ بعد میں کم نمبر درست شک پیدا کرتا ہے: شاید ایجنٹ کو اصلاح چاہیے، شاید جانچ کو۔
معیار کام کے بارے میں ایک نظریہ ہے۔ نظریہ آزمائیں۔
پہلے نااہل کرنے والی غلطی دیکھیں
ٹیمیں اکثر آسانی سے ناپے جانے والے پہلوؤں سے شروع کرتی ہیں: وضاحت، لہجہ، ساخت، مکمل پن۔ مفید ہیں مگر عموماً کافی نہیں۔
مثالی رقم واپسی کے جواب میں “ادائیگی کی رسید کے بغیر مکمل رقم واپسی کا دعویٰ نہ کریں” عبارت کے حسن سے اوپر ہے۔ ڈیٹا سنک میں “بلنگ ای میل کو اکاؤنٹ مالک کی ای میل سے نہ ملائیں” فیلڈ میپ کی خوشگوار وضاحت سے اہم ہے۔
شعبے کے ماہر سے تین قسم کی صورتیں مانگیں: صاف درست، صاف غلط اور وہ جس پر باخبر لوگ اختلاف کر سکیں۔ ماخذ ریکارڈ اور ہر فیصلے کی وجہ محفوظ رکھیں۔ معاملہ بدل سکنے والے قاعدے پر منحصر ہو تو لیبل کے ساتھ قاعدے کا ورژن بھی رکھیں۔
پہلا دور چھوٹا ہو سکتا ہے، مبہم نہیں۔
- کام کا مالک
اچھی، بری اور متنازع صورتیں
- عین جانچیں شناخت · اجازت · منزل
کوڈ حقائق نافذ کرتا ہے
- معنوی معیار
صرف تشریح مانگنے والی بات جانچیں
- اختلاف کا جائزہ
لیبل اور شرائط درست کریں
| جانچ | بہتر ذمہ دار | وجہ |
|---|---|---|
| لازمی اجازت موجود ہے | کوڈ اور مستند ریکارڈز | حقیقت عین اور نتیجہ خیز ہے |
| منزل کی شناخت ماخذ سے ملتی ہے | کوڈ اور آزمائشی ریکارڈ | ماڈل کو شناخت کا اندازہ نہیں لگانا چاہیے |
| جواب گاہک کے سوال کا جواب دیتا ہے | انسان کے جائزہ شدہ معیار، ممکنہ ماڈل منصف | معنی تشریح مانگتا ہے |
| لہجہ صورت کے مطابق ہے | انسان کے جائزہ شدہ معیار، ممکنہ ماڈل منصف | کئی قابل قبول صورتیں ہیں |
ہماری موجودہ ورک فلو میں AI نافذ کرنے کی رہنما تحریر بھی فیصلہ اور نفاذ کی حد واضح رکھتی ہے: ماڈل کا اعتماد اجازت نہیں بنتا۔
نمبر معیار کی اندھی جگہیں وراثت میں لیتا ہے
اعتراض جائز ہے: “انسان ہر ایجنٹ اجرا نہیں دیکھ سکتا؛ وسیع پیمانے کا منصف چاہیے۔” ہاں۔ سوال یہ ہے کہ منصف کس چیز کو بڑھا رہا ہے۔
معیار خوش نما جواب کو انعام دے اور رقم واپسی کی حقیقت کبھی نہ جانچے تو خودکار جانچ اس چھوٹ کو پھیلائے گی۔ دو اعشاری مقامات والا عدد عین لگتا ہے، پھر بھی غلط چیز ناپ سکتا ہے۔
Google Cloud کی منصف جانچ دستاویز عملی جانچ بیان کرتی ہے: انسانی درجہ بندی والی صورتیں تیار کریں، ماڈل پر مبنی پیمانہ چلائیں اور نمبروں کا انسانی فیصلوں سے موازنہ کریں۔ مقصد یہ نہیں کہ ایک شخص غلط نہیں ہو سکتا۔ مقصد یہ ہے کہ ماڈل کے نمبر کو وزن دینے سے پہلے بیرونی معیار ہو۔
صرف اوسط مطابقت نہیں، اختلاف دیکھیں۔ منصف وہ جواب پاس کرے جسے سپورٹ ذمہ دار نے رد کیا تو پوچھیں کون سی غائب شرط سبب ہے۔ دو ماہر اختلاف کریں تو دونوں لیبل رکھیں اور مختلف سمجھے گئے قاعدے کو ڈھونڈیں۔ اختلاف کو خاموشی سے اوسط میں نہ مٹائیں۔
نمونہ چننا معیار کی عبارت جتنا اہم ہے۔ معمول کی کامیابیوں کا مجموعہ منصف کو قابل اعتماد دکھا سکتا ہے جبکہ مشکل صورتیں چھوئی نہ جائیں۔ نامکمل ریکارڈ، متصادم ہدایات اور وہ صورتیں شامل کریں جہاں درست جواب رک کر پوچھنا ہے۔ الگ صورتوں کا مجموعہ رکھیں جن پر معیار کے مصنفوں نے تیاری نہیں کی، تاکہ مانوس مثالوں کو بہتر بنانے والی تبدیلی دوسری جگہ بھی خود کو ثابت کرے۔ کاروباری قاعدہ بدلے تو لیبل اور متوقع نتائج تازہ کریں؛ جما ہوا مجموعہ کل کی پالیسی کو انعام دے سکتا ہے۔
نتیجہ جانچ سے جڑا رہے
سنک ایجنٹ کا معیار گاہک کے نتیجے تک جائے۔ کیا درست رابطہ بدلا؟ رضامندی کا لحاظ ہوا؟ کیا ناکام ریکارڈ نتیجہ خیز عمل دہرائے بغیر دوبارہ چل سکتا ہے؟
Brevo کنیکٹر رہنما تحریر بتاتی ہے کامیاب API کال کے ساتھ غائب اٹریبیوٹ بھی ہو سکتا ہے۔ جانچ صرف ایجنٹ کی کال دیکھے تو نتیجہ چھوڑ دے گی۔ صرف منزل دیکھے تو وہ ممنوع راستہ چھوڑ سکتی ہے جو اتفاقاً درست قدر پر ختم ہوا۔ راستے میں خطرہ ہو تو دونوں اہم ہیں۔
ایک محدود کام اور چند ناکامیوں سے شروع کریں۔ کام کے مالک کے ساتھ صورتوں پر لیبل لگائیں۔ عین جانچیں کوڈ میں رکھیں اور ماڈل منصف صرف اس جگہ لگائیں جہاں زبان یا فیصلہ واقعی مانگے۔ پرامپٹ، ماڈل یا ٹول بدلنے کے بعد وہی صورتیں چلائیں۔ بعد کی ناکامیاں معیار کے بارے میں کیا بتاتی ہیں، درج کریں۔
قیمت ماہر کا ابتدائی وقت ہے۔ فائدہ یہ ہے کہ ہر بعد کا نمبر ایسا معنی رکھتا ہے جس کا دفاع ہو سکے۔
ڈیش بورڈ نمبر دکھا سکتی ہے۔ صرف معیار بتاتا ہے کہ آپ نے کیا گنا۔
اکثر پوچھے گئے سوالات
AI ایجنٹ کی جانچ کا معیار کون طے کرے؟
کام اور اس کے اثرات جاننے والے لوگ قابل قبول نتیجے اور نااہل غلطیاں طے کریں۔ انجینئر ان فیصلوں کو دہرائی جانے والی جانچ میں بدلیں اور دیکھیں ماڈل منصف انسانی درجہ بندی سے ملتا ہے یا نہیں۔
کیا بلند نمبر ایجنٹ کے چلنے کا ثبوت ہے؟
نہیں۔ نمبر آزمودہ صورتوں میں معیار سے مطابقت ناپتا ہے۔ کمزور معیار، غیر نمائندہ صورتیں یا غلط متوازن منصف نقصان دہ نتیجے کو بلند نمبر دے سکتے ہیں۔
ماڈل منصف کے بجائے کوڈ سے کیا جانچیں؟
عین اجازتیں، ریکارڈ شناختیں، لازمی ٹول کالز اور منزل کی حالت جہاں ممکن ہو کوڈ سے جانچیں۔ ماڈل منصف ان معنوی خوبیوں کے لیے مفید ہے جنہیں عین قواعد نہیں طے کر سکتے۔