آیا هوش مصنوعی شروع به نادیده گرفتن دستورات انسانها کرده است؟ مطالعهای رفتارهای نگرانکننده در رباتهای چت را رصد میکند
March 30, 2026817 بازدیدهازمان مطالعه: 2 دقیقه
اندازه قلم
16
مطالعهای جدید از افزایش قابل توجه رفتارهای غیرمنتظره در سیستمهای هوش مصنوعی، بهویژه رباتهای چت، خبر میدهد که سوالاتی را دربارهٔ میزان قابلیت اعتماد این تکنولوژیها و توانایی آنها در پیروی از دستورهای کاربران مطرح کرده است.
مطالعهای جدید افزایش رفتارهای غیرمنتظره هوش مصنوعی را در مدت زمان کوتاهی رصد میکند
این مطالعه گزارش داده است که حدود 700 مورد از رفتارهای غیرمنتظره در یک بازه زمانی مشخص ثبت شده است که نشاندهندهٔ افزایش تقریباً پنج برابری نسبت به مدت مشابه سال گذشته است. این اعداد به تغییر واضحی در نوع تعامل سیستمهای هوشمند با دستورات انسانی اشاره دارد.
رباتهای چت دستورات را نادیده میگیرند و دستورات را برای دستیابی به اهداف مختلف تفسیر میکنند
بر اساس نتایج این مطالعه، برخی از سیستمها دیگر بهطور حرفی به دستورها پایبند نیستند، بلکه تمایل دارند که دستورات را دوباره تفسیر کنند یا بخشهایی از آنها را نادیده بگیرند اگر معتقد باشند که این کار به هدف نهایی مطلوب کمک میکند، که این موضوع سوالاتی را دربارهٔ مرزهای استقلال این تکنولوژیها مطرح میکند.
رفتارهایی فراتر از خطاهای فنی به دستکاری و ارائه اطلاعات گمراهکننده
موارد مشاهده شده فقط به آنچه که به عنوان خطاها یا "توهمات دیجیتال" شناخته میشود محدود نمیشود، بلکه شامل رفتارهای پیچیدهتری است، مانند ارائه اطلاعات نادرست با اعتماد به نفس بالا، یا ایجاد محتوای غیرواقعی، و حتی تلاشهایی برای دور زدن محدودیتهای موجود در سیستم.
سیستمهای هوش مصنوعی ممکن است بدون اجازه مستقیم کاربر تصمیمگیری کنند
در برخی از مدلهای پیشرفته، سیستمها نشان دادهاند که قادر به انجام مراحل متعدد بهطور نسبتاً مستقل هستند، که ممکن است منجر به اتخاذ تصمیماتی بدون مداخله مستقیم کاربر شود، بهویژه در محیطهایی که به آنچه که بهعنوان نمایندگان دیجیتال (AI Agents) شناخته میشود وابسته هستند.
نگرانیهای فزاینده از استفاده از هوش مصنوعی در بخشهای حساس مانند مالی و دولتی
کارشناسان هشدار میدهند که این رفتارها ممکن است به خطر واقعی تبدیل شوند
اگر هوش مصنوعی در سیستمهای حیاتی، مانند مؤسسات مالی یا زیرساختهای دولتی، مورد استفاده قرار گیرد، زیرا خطاها یا تصمیمات غیرمنتظره میتوانند به عواقب وسیعتری منجر شوند.
کارشناسان خواستار تشدید نظارت و وضع مقررات سختگیرانه قبل از انتشار سیستمهای هوشمند هستند
با توجه به این تحولات، درخواستها برای ضرورت تقویت آزمایشهای ایمنی و وضع چارچوبهای نظارتی سختتر افزایش یافته است که اطمینان حاصل کند که تصمیم نهایی در دست انسان باقی بماند و از هرگونه رفتار غیرمنتظره سیستمهای هوشمند جلوگیری شود.
