NAVIDIX همه‌ی مقاله‌ها ←

NAVIDIX · ARTICLE

برنامه‌نویس‌ها با هوش مصنوعی ۱۹٪ کندتر شدند — و خودشان فکر می‌کردند سریع‌ترند

۳۰ مرداد ۱۴۰۵

یک آزمایش تصادفی‌سازی‌شده روی برنامه‌نویس‌های حرفه‌ای انجام شد. نتیجه برعکس چیزی درآمد که همه انتظار داشتند — و بخش عجیب ماجرا این بود که خودِ شرکت‌کننده‌ها هم متوجه نشدند.

اگر از هر برنامه‌نویسی بپرسی هوش مصنوعی چقدر سریع‌ترش کرده، جواب می‌گیری. عددش هم معمولاً بزرگ است: دو برابر، سه برابر، «دیگر بدون آن نمی‌توانم کار کنم».

جولای ۲۰۲۵، یک سازمان پژوهشی غیرانتفاعی به اسم METR تصمیم گرفت به‌جای پرسیدن، اندازه بگیرد.

نتیجه‌ای که درآمد، یکی از عجیب‌ترین یافته‌های چند سال اخیر در این حوزه است.

آزمایش چطور طراحی شده بود

اول بگذار بگویم چرا این آزمایش را نمی‌شود راحت کنار گذاشت.

روشش کارآزمایی تصادفی‌سازی‌شدهٔ کنترل‌شده بود — همان روشی که برای آزمایش داروها استفاده می‌شود و در سلسله‌مراتب شواهد علمی بالاترین جایگاه را دارد. یعنی به‌جای نظرسنجی و حدس، هر وظیفه به‌شکل تصادفی به یکی از دو حالت اختصاص داده شد.

شرکت‌کننده‌ها هم آدم‌های تصادفی از خیابان نبودند: ۱۶ برنامه‌نویس باتجربهٔ متن‌باز، روی مخزن‌هایی کار می‌کردند که خودشان حدود پنج سال رویشان کار کرده بودند. یعنی کسانی که کد را مثل کف دستشان می‌شناختند.

۲۴۶ وظیفهٔ واقعی — نه تمرین ساختگی، بلکه ایشوهای واقعی از پروژه‌های واقعی. هر وظیفه تصادفی در یکی از دو دسته می‌افتاد: «استفاده از هوش مصنوعی مجاز است» یا «مجاز نیست».

ابزارها هم ابزارهای درجه‌یک آن دوره بودند: عمدتاً Cursor Pro همراه با Claude 3.5 و 3.7 Sonnet، با حالت چت، حالت ایجنت و تکمیل خودکار.

نتیجه

وقتی استفاده از هوش مصنوعی مجاز بود، انجام همان کارها ۱۹ درصد بیشتر طول کشید.

و حالا بخشی که ماجرا را از یک یافتهٔ آماری تبدیل می‌کند به یک چیز واقعاً تکان‌دهنده:

بعد از اینکه کار تمام شد و آن کندی را با تن خودشان تجربه کردند، از همان برنامه‌نویس‌ها پرسیدند نظرشان چیست. میانگین جوابشان این بود که هوش مصنوعی حدود ۲۰ درصد سریع‌ترشان کرده.

یعنی یک شکاف چهل‌درصدی بین آنچه اتفاق افتاد و آنچه احساس شد. در آدم‌هایی که خودشان تجربه‌اش کرده بودند.

چرا این اتفاق می‌افتد

پژوهش عدد را می‌دهد، ولی توضیح «چرا» بیشتر بحث است تا یافته. با این حال چند فرضیه هست که تجربهٔ روزمرهٔ هر کسی که با این ابزارها کار کرده تأییدشان می‌کند.

اول، هزینهٔ بازبینی جای هزینهٔ نوشتن را می‌گیرد. نوشتن کد وقت می‌برد، ولی خواندن کدی که یکی دیگر نوشته و تصمیم‌گرفتن دربارهٔ درستی‌اش هم وقت می‌برد — و برای کسی که مخزن را پنج سال می‌شناسد، گاهی وقت بیشتری.

دوم، احساسِ سرعت با سرعت فرق دارد. وقتی سی خط کد در دو ثانیه جلوی چشمت ظاهر می‌شود، حسِ پیشرفت فوری است. آن حس واقعی است؛ فقط ربطی به زمان کل کار ندارد. کاری که در آن نشسته‌ای و فکر می‌کنی کند به نظر می‌رسد، حتی وقتی سریع‌ترین راه است.

سوم، انتظار زمان مرده تولید می‌کند. بین درخواست و جواب، ذهن از مسئله بیرون می‌آید. برگشتن به تمرکز، خودش هزینه دارد.

چهارم، آشنایی مهم است. این آزمایش روی مخزن‌های بالغ و آشنا انجام شد. آنجا مزیت اصلی هوش مصنوعی — دانستن چیزی که تو نمی‌دانی — تقریباً صفر است. تو از قبل می‌دانی.

حالا انصاف

اینجا همان‌جایی است که بیشتر بازنشرهای این خبر متوقف می‌شوند و نتیجه می‌گیرند «پس هوش مصنوعی برای کدنویسی بی‌فایده است».

خودِ METR این حرف را نمی‌زند.

آزمایش یک آزمایش است، در یک بستر مشخص: ۱۶ نفر، مخزن‌های بالغ، و ابزارهای بازهٔ فوریه تا ژوئن ۲۰۲۵. و مهم‌تر اینکه METR بعداً خودش این نتیجه را «تاریخی» برچسب زد — یعنی الزاماً وضعیت ابزارهای امروز و روال کار امروز را توصیف نمی‌کند. حتی طراحی آزمایش بهره‌وری‌اش را هم بازنگری کرد.

پس یافتهٔ درست این نیست که «هوش مصنوعی کند می‌کند». یافتهٔ درست این است:

در یک شرایط مشخص — کدِ آشنا، توسعه‌دهندهٔ خبره — هوش مصنوعی کند کرد، و هیچ‌کس متوجه نشد.

و آن نیمهٔ دوم، بخش مهم‌تر است.

درسی که فراتر از کدنویسی می‌رود

اگر فقط یک چیز از این پژوهش برداری، این باشد: حسِ بهره‌وری، سنجهٔ قابل‌اعتمادی برای بهره‌وری نیست.

این حرف فقط دربارهٔ برنامه‌نویس‌ها نیست. اگر ویدیو می‌سازی، اگر متن می‌نویسی، اگر تصویر تولید می‌کنی — همین تله سر راه توست. ابزار حس خوبی می‌دهد. سریع جواب می‌دهد. صفحه سریع پر می‌شود. و هیچ‌کدام از این‌ها نمی‌گوید کار کل، زودتر تمام شد یا نه.

تنها راه فهمیدنش، همان کاری است که METR کرد: اندازه گرفتن.

و خبر خوب اینکه برای این کار به کارآزمایی تصادفی نیاز نداری. کافی است ده کار بعدی‌ات را زمان بگیری — پنج‌تا با ابزار، پنج‌تا بدون. عدد خودش حرف می‌زند، و ممکن است غافلگیرت کند. در هر دو جهت.

جمع‌بندی

یک آزمایش با بالاترین استاندارد روش‌شناختی نشان داد برنامه‌نویس‌های خبره روی کدِ آشنا با هوش مصنوعی ۱۹٪ کندتر شدند، در حالی که فکر می‌کردند ۲۰٪ سریع‌تر شده‌اند.

این پایان بحث نیست — خودِ پژوهشگرها هم می‌گویند نیست. ولی شکافی که نشان داد، چیزی است که با به‌روزشدن ابزارها از بین نمی‌رود: ما در قضاوت دربارهٔ سرعت خودمان، بد هستیم.

اگر می‌خواهی این را روی کار خودت امتحان کنی، از جایی شروع کن که اندازه‌گیری ساده است: از یک کار به یک سیستم دربارهٔ ساختن رویه‌ای است که بشود سنجیدش، و اولین کارِ واقعی دربارهٔ تمام‌کردن کاری که واقعاً تمام شود. اگر تازه شروع کرده‌ای هم راهنمای صفرِ صفر نقطهٔ ورود است.

منابع

محمد نویدی — استودیو نویدیکس

هوش مصنوعیبرنامه‌نویسیپژوهشبهره‌وری
→ برگرد به فهرست مقاله‌ها