هوش مصنوعی دارد پس‌ماندهٔ خودش را می‌خورد

یک بازی قدیمی هست که احتمالاً بچگی کرده‌ای. ده نفر پشت سر هم می‌نشینند، نفر اول یک جمله در گوش نفر دوم می‌گوید، و جمله دست‌به‌دست می‌چرخد تا به نفر آخر برسد. آنچه نفر آخر بلند می‌گوید تقریباً هیچ‌وقت آن جملهٔ اول نیست. معمولاً یک چیز مضحک است. همه می‌خندند و بازی تمام می‌شود.

حالا تصور کن همین بازی را ده هزار نفر بازی کنند، و نفر آخر کسی باشد که قرار است به بقیهٔ دنیا اطلاعات بدهد.

این تقریباً همان چیزی است که پژوهشگران دربارهٔ آیندهٔ مدل‌های زبانی هشدار می‌دهند. اسمش را گذاشته‌اند فروپاشی مدل — Model Collapse — و در ژوئیهٔ ۲۰۲۴ مقاله‌ای دربارهٔ آن در Nature منتشر شد که سر و صدای زیادی به پا کرد.

ماجرا از کجا شروع شد

فرض کن یک مدل زبانی روی متن‌های اینترنت آموزش می‌بیند. تا اینجا چیز عجیبی نیست؛ همهٔ مدل‌ها همین کار را کرده‌اند.

حالا آن مدل شروع می‌کند به تولید متن. مقاله می‌نویسد، توییت می‌نویسد، توضیح محصول می‌نویسد، جواب سؤال می‌دهد. آن متن‌ها روی اینترنت منتشر می‌شوند.

سال بعد، مدل نسل بعدی می‌آید و روی اینترنت آموزش می‌بیند. ولی این‌بار اینترنت دیگر فقط نوشتهٔ آدم‌ها نیست. بخشی از آن، خروجی مدل قبلی است.

نسل سوم روی مخلوطی آموزش می‌بیند که در آن سهم متن ماشینی بیشتر شده. نسل چهارم بیشتر. و همین‌طور.

این حلقه، همان بازی تلفن است — فقط بدون خنده در انتهایش.

دقیقاً چه چیزی خراب می‌شود

نکتهٔ ظریف ماجرا این است که مدل ناگهان دیوانه نمی‌شود. خرابی مرحله‌ای است، و پژوهشگران دو مرحله را از هم جدا کرده‌اند.

مرحلهٔ اول، فروپاشی زودهنگام. خطاهای کوچک در توزیع داده انباشته می‌شوند و مدل بی‌سر و صدا از واقعیت فاصله می‌گیرد. خروجی هنوز روان و درست‌به‌نظر است؛ فقط دیگر دقیقاً بازتاب جهان واقعی نیست.

مرحلهٔ دوم، فروپاشی دیرهنگام. و این بخش ترسناک‌تر است: رویدادهای کم‌بسامد برای همیشه ناپدید می‌شوند.

روی این جملهٔ آخر مکث کن، چون کل ماجرا در همان است.

هر مدلی وقتی از دادهٔ خودش یاد می‌گیرد، ناخودآگاه پرتکرارها را تقویت می‌کند و نادرها را کنار می‌گذارد. نتیجه مدلی است که میانگین را عالی بلد است و حاشیه را اصلاً. لهجه‌های کم‌گویش، زبان‌های کم‌داده، سبک‌های نامتعارف، دیدگاه‌های اقلیت — همهٔ این‌ها نسل به نسل کم‌رنگ‌تر می‌شوند تا جایی که انگار هیچ‌وقت نبوده‌اند.

و اگر فارسی می‌نویسی، این دقیقاً مسئلهٔ توست. فارسی در مقیاس دادهٔ آموزشی جهانی، یک «رویداد کم‌بسامد» است.

چرا نمی‌شود گفت «خب دادهٔ مصنوعی را فیلتر کنید»

جواب بدیهی این است که دادهٔ ماشینی را تشخیص بدهیم و دور بیندازیم. مشکل این است که این کار هر سال سخت‌تر می‌شود، به دو دلیل.

اول اینکه تشخیص متن ماشینی از متن انسانی به‌طور قابل‌اتکا حل‌نشده است. ابزارهای تشخیص، نرخ خطای بالایی دارند و مرتب متن آدم‌ها را ماشینی می‌خوانند — که خودش دردسری جداگانه برای دانشجوها و نویسنده‌ها ساخته است.

دوم اینکه مرز دیگر شفاف نیست. متنی که یک آدم نوشته و مدل ویرایشش کرده چیست؟ متنی که مدل نوشته و آدم بازنویسی‌اش کرده چطور؟ بیشتر محتوای امروز اینترنت جایی روی این طیف است، نه در یکی از دو سرش.

برآوردها می‌گویند تا حوالی ۲۰۳۰ بخش عمدهٔ دادهٔ تازهٔ در دسترس برای آموزش، ماشین‌تولید خواهد بود. یعنی مسئله از «اگر» عبور کرده و رسیده به «چقدر».

حالا بگذار انصاف را رعایت کنیم

اینجا جایی است که بیشتر مقاله‌های فارسی دربارهٔ این موضوع تمام می‌شوند — با یک نتیجه‌گیری آخرالزمانی و یک تصویر تیره از آینده.

ولی داستان تمام نشده.

بعد از انتشار آن مقاله، پژوهشگران دیگری به روش آزمایش انتقاد کردند. مهم‌ترین انتقاد این بود: در آن آزمایش‌ها، هر نسل جایگزین نسل قبل می‌شد. یعنی دادهٔ انسانی اصلی کنار گذاشته می‌شد و مدل فقط با خروجی نسل قبلی آموزش می‌دید.

ولی هیچ آزمایشگاهی در دنیای واقعی این کار را نمی‌کند. در عمل، دادهٔ مصنوعی به دادهٔ انسانی اضافه می‌شود، نه اینکه جایش را بگیرد. و وقتی پژوهشگران آزمایش را به این شکل تکرار کردند، فروپاشی به آن شدت اتفاق نیفتاد.

خودِ مقالهٔ اصلی هم بعداً یک تصحیح رسمی گرفت.

پس تصویر واقعی این است: فروپاشی مدل یک پدیدهٔ واقعی و اثبات‌شده است، ولی یک سرنوشت محتوم نیست. بیشتر شبیه یک بیماری است که می‌دانیم چطور منتقل می‌شود و می‌دانیم چه چیزی جلویش را می‌گیرد — تزریق مداوم دادهٔ تازهٔ انسانی.

و همین نکته، ماجرا را از یک خبر ترسناک تبدیل می‌کند به یک فرصت.

چرا این برای تو که محتوا می‌سازی مهم است

اگر تا اینجا آمده‌ای، احتمالاً خودت هم چیزی تولید می‌کنی. پس بگذار بگویم این پژوهش عملاً چه چیزی به تو می‌گوید.

دادهٔ انسانی تازه دارد گران می‌شود. اگر هر مدلی برای زنده‌ماندن به متن، تصویر و ویدیوی واقعیِ ساختهٔ آدم نیاز دارد، آن‌وقت کارِ اصیل نه‌تنها بی‌ارزش نشده، بلکه در حال تبدیل‌شدن به کمیاب‌ترین ورودی این صنعت است. این دقیقاً برعکس چیزی است که دو سال پیش همه پیش‌بینی می‌کردند.

تولید انبوهِ بی‌کیفیت، خودش را می‌خورد. کانالی که روزی ده ویدیوی ماشینی بی‌ویرایش منتشر می‌کند، در همان حلقه‌ای است که این پژوهش توصیفش می‌کند. نه به این دلیل که «هوش مصنوعی بد است»، بلکه به این دلیل که هیچ ورودی انسانی تازه‌ای وارد سیستمش نمی‌شود.

تفاوت در نقطهٔ ورودِ آدم است. مدل خوب ابزار است. سؤال این است که تو کجای زنجیره تصمیم می‌گیری — و اگر جوابت «هیچ‌جا» باشد، خروجی‌ات هم به همان میانگینی می‌رسد که همه به آن می‌رسند.

یک قیاس که شاید کمک کند

عکاسی دیجیتال را تصور کن. وقتی دوربین‌ها ارزان شدند، تعداد عکس‌های گرفته‌شده در جهان هزار برابر شد. خیلی‌ها گفتند عکاسی مُرد.

عکاسی نمرد. چیزی که مرد، کمیابیِ عکس بود. ارزش از «توانستن گرفتن عکس» منتقل شد به «دانستن اینکه چه چیزی ارزش عکس‌گرفتن دارد».

الان همان اتفاق دارد برای متن و ویدیو می‌افتد. توانستنِ ساختن دیگر مزیت نیست. دانستنِ اینکه چه چیزی ارزش ساختن دارد، تنها چیزی است که باقی می‌ماند — و اتفاقاً همان چیزی است که هیچ مدلی نمی‌تواند از خروجی خودش یاد بگیرد.

جمع‌بندی

فروپاشی مدل یک افسانهٔ اینترنتی نیست؛ در Nature منتشر شده و مکانیزمش روشن است. ولی یک پیش‌گویی قطعی هم نیست؛ نقدهای جدی به آن وارد شده و در شرایط واقعی — که دادهٔ مصنوعی به دادهٔ انسانی اضافه می‌شود نه جایگزینش — شدتش خیلی کمتر است.

چیزی که از این بحث باقی می‌ماند، برای کسی که کار می‌سازد، ساده است: ورودی انسانی، گران‌بهاترین چیزی است که در این زنجیره باقی مانده. و تو دقیقاً همان را داری.

---

اگر می‌خواهی از حرف به عمل برسی، از جایی شروع کن که تصمیم انسانی بیشترین اثر را دارد: آناتومی یک پرامپت خوب نشان می‌دهد کجای زنجیره واقعاً می‌توانی تصمیم بگیری، و از یک کار به یک سیستم همان تصمیم‌ها را تبدیل به رویه‌ای می‌کند که هر بار جواب بدهد. اگر هم تازه شروع کرده‌ای، راهنمای صفرِ صفر بدون پیش‌نیاز نوشته شده.

منابع

• Shumailov و همکاران، «AI models collapse when trained on recursively generated data»، Nature، ۲۰۲۴ — nature.com/articles/s41586-024-07566-y
• تصحیح رسمی همان مقاله، Nature، ۲۰۲۵ — nature.com/articles/s41586-025-08905-3
• «A Note on Shumailov et al. (2024)» — نقد روش‌شناختی، arXiv:2410.12954 — arxiv.org/abs/2410.12954
• «A Closer Look at Model Collapse: From a Generalization-to-Memorization Perspective»، arXiv:2509.16499 — arxiv.org/html/2509.16499v2
• «ForTIFAI: fending off recursive training induced failure for AI model collapse»، npj Artificial Intelligence — nature.com/articles/s44387-026-00127-w

محمد نویدی — استودیو نویدیکس