Kapan solusi sementara untuk AI perlu ditinggalkan?

Tiga pertanyaan kepada model memisahkan asisten integrasi ilustratif dari pemetaan bidangnya. Pertanyaan pertama menggolongkan permintaan. Pertanyaan kedua memilih alat. Pertanyaan ketiga menulis ulang pilihan yang sama dalam format lebih panjang. Urutan ini dibuat ketika model kerap tertukar antara dua operasi. Setelah model diperbarui, jalur tambahan itu mungkin hanya menambah waktu tanpa mencegah kesalahan.

Satu-satunya cara mengetahuinya adalah menjalankan tugas yang sama melalui kedua jalur. Keakraban bukan bukti nilai.

Presentasi tentang produk yang berubah bersama kemampuan model berpendapat bahwa produk seharusnya membaik ketika modelnya membaik. Sumber itu juga menceritakan sulitnya menghapus antarmuka yang sudah familier. Pelajaran berguna bukanlah menghapus semua bantuan, melainkan menguji apakah bantuan masih layak dipertahankan.

Pisahkan bantuan dari kewenangan

Bantuan lama dapat berupa prompt yang mengulang deskripsi alat, pengarah yang selalu memilih operasi sama, atau antarmuka tetap untuk tugas yang kini dapat dijelaskan model dengan lebih baik saat diminta. Tugas bantuan itu ialah membantu model atau pengguna menyelesaikan pekerjaan. Jika tidak lagi demikian, biaya pemeliharaannya menjadi beban murni.

Pemeriksaan izin berbeda. Pemeriksaan itu menentukan apakah tindakan diperbolehkan. Model yang sangat baik memilih alat tetap tidak dapat memberi dirinya akses ke data toko lain. Model yang menulis pembaruan kontak tanpa cacat tetap memerlukan persetujuan tepat sebelum penulisan nyata.

Penjelasan MCP menerangkan akses alat serta biaya keamanan saat akses itu dibuka. Kemampuan model dapat mengubah cara asisten menemukan alat tepat. Kemampuan tersebut tidak menghapus kebutuhan membatasi alat dan memvalidasi masukannya.

Perbedaan ini mencegah kesalahan lazim saat menyederhanakan produk. Tim melihat alur lama sebagai satu lapisan dan memilih mempertahankan atau menghapus semuanya. Pecah menjadi pertanyaan: bagian mana membantu model bernalar, bagian mana membantu pengguna memahami, dan bagian mana menegakkan aturan di luar model? Hanya dua bagian pertama yang mungkin dihapus karena kemampuan model meningkat.

Perbandingan adil membutuhkan masukan tugas yang sama dan tindakan yang sama-sama diizinkan. Jika jalur sederhana menerima skema lebih baru atau izin lebih luas, hasil baik tidak banyak menjelaskan nilai lapisan yang dihapus. Masukkan kasus kegagalan yang dahulu ditangkap bantuan lama, lalu lihat apakah jalur baru menangkapnya dengan alasan sama. Jika tidak, beberapa contoh rutin yang berhasil bisa melupakan mengapa bantuan itu pernah ada.

Bandingkan tugas sampai selesai

Tolok ukur model saja tidak cukup. Pertanyaan produk adalah apakah pengguna menyelesaikan tugas nyata dengan lebih sedikit kesalahan, lebih singkat, atau bukti lebih jelas.

Buat kumpulan skenario kecil: pemetaan kontak rutin, bidang tujuan yang tidak dikenal, akun dengan izin kurang, dan permintaan aktivasi sebelum pratinjau. Jalankan tiap skenario dengan serta tanpa lapisan bantuan. Periksa panggilan alat, penjelasan, dan keputusan berhenti. Ukur latensi serta biaya di samping ketepatan.

Jika jalur sederhana sama baiknya pada kasus rutin tetapi lebih buruk pada kasus izin, pertahankan perlindungannya. Jika bantuan tidak mengubah hasil apa pun dan menambah dua detik, hapus. Jika bantuan hanya penting untuk satu jenis permintaan langka, batasi penggunaannya pada jenis itu.

Keberatan yang wajar adalah: “Pengguna sudah belajar antarmuka lama; menghapusnya menambah pekerjaan.” Benar. Kendali yang familier dapat membantu seseorang walau model tidak lagi membutuhkannya. Amati apakah pengguna tersebut benar-benar menyelesaikan dan memahami tugas. Antarmuka lama boleh bertahan karena alasan manusia, tetapi alasan itu perlu dinyatakan dan diuji.

Pisahkan biaya solusi sementara dari biaya mengubahnya. Pengarah mungkin menambah sedikit jeda tetapi murah dipelihara; pengurai tulisan tangan yang rapuh mungkin memerlukan perbaikan setiap kali penyedia menambah bidang. Kartu penilaian dapat mencatat latensi, tingkat kesalahan, beban pemeliharaan, dan pemahaman pengguna. Nilainya harus berasal dari tugas produk itu sendiri, bukan klaim umum bahwa model baru lebih pintar.

Apa yang masih dilindungi lapisan bantuan lama?

1. Menegakkan izin atau cakupan data

   Pertahankan kendali

   Kemampuan model tidak memberikan kewenangan.

2. Hanya membantu satu jenis pengecualian

   Batasi lapisan bantuan

   Gunakan di tempat pengujian tugas menunjukkan manfaat.

3. Tidak mengubah hasil yang diuji

   Hentikan lapisan bantuan

   Hilangkan latensi dan pemeliharaan yang tidak lagi sepadan.

Hentikan solusi sementara dengan sengaja

Penghentian yang aman memerlukan keadaan awal dan jalur kembali. Catat hasil jalur lama untuk skenario yang sama, aktifkan jalur baru bagi kelompok terbatas, lalu amati kegagalan. Pertahankan perilaku lama cukup lama untuk mendiagnosis kemunduran. Ini pemeriksaan produk biasa, bukan janji bahwa kemajuan model membuat setiap fitur usang.

Panduan reverse ETL dari Tajo memberi batas yang berguna: pemindahan data berulang termasuk dalam pipeline yang stabil. Model lebih kuat mungkin lebih baik mengusulkan atau menjelaskan pemetaan. Itu tidak menjadikan satu panggilan model per catatan sebagai mekanisme pemindahan yang lebih baik.

Biaya disiplin ini adalah pengujian ulang berkala. Manfaatnya ialah produk tidak membawa solusi sementara kemarin untuk selamanya.

Kemajuan model seharusnya menghilangkan pekerjaan membosankan, bukan aturan.

Simpan alasan singkat di samping setiap lapisan yang tetap ada. “Langkah ini mencegah penulisan tanpa izin” tetap berlaku ketika mutu model meningkat. “Langkah ini mengatasi kebingungan model antara dua alat” harus memicu pengujian ulang saat model berikutnya dipakai. Inventaris kecil itu menjadikan penyederhanaan berikutnya keputusan yang dapat diulang, bukan perdebatan tentang rasa familier desain lama.