به گزارش سرویس تازه های دنیای فناوری مجله عصر اطلاعات ،
گرشاک میگوید اهمیت مرزهای امنیتی بین ورودیهای قابلاعتماد و نامعتبر برای مدلهای زبانی بزرگ، دستکم گرفته شده است. او همچنین اعلام کرد تزریق دستور، یک تهدید امنیتی جدی است که باید هنگام استفاده از این مدلها مورد توجه قرار گیرد.
پیشاز این نیز مشخص شده بود که برخی افراد با فریب چتباتهای هوشمند مصنوعی، آنها را مجبور به اجرای دستورات خارج از برنامهریزی و زیر پا گذاشتن قوانین میکنند. بههرحال ظاهراً مشکل روش جدید تزریق سریع دستور در ChatGPT و بینگ جدید مایکروسافت برطرف نشده است.
کوین لیو، دانشجوی دانشگاه استنفورد از حلمهی تزریق فوری برای کشف نام رمز اولیهی چتبات بینگ استفاده کرد. هوش مصنوعی مایکروسافت در پاسخ به لیو گفت که نام رمز آن سیدنی است اما قرار نبود چنین اطلاعاتی را فاش کند.
Vice مینویسد، کشف روش تزریق سریع غیر مستقیم بهدلیل محبوبیت ناگهانی چتباتهای هوش مصنوعی بسیار مهم است. مایکروسافت از مدل GPT شرکت OpenAI در بینگ جدید بهره گرفته است و گوگل و آمازون نیز هردو درحال رقابت برای عرضهی مدلهای هوش مصنوعی خود به کاربران هستند.
OpenAI اخیراً در توضیح یکی از APIهای ChatGPT در گیتهاب به موضوع تزریق سریع اشاره کرد. توسعهدهندگان چتبات مذکور میگویند:
محققان در مقالهی خود خاطرنشان کردهاند که مشخص نیست تزریق سریع غیرمستقیم با مدلهایی که با روش یادگیری تقویتی از بازخورد انسانی (RLHF) آموزش دیدهاند، کار خواهد کرد یا خیر. شایانذکر است GPT 3.5 براساس همین مدل آموزش داده شده است.
احتمالاً بهینهسازی بینگ جدید برای کاهش پاسخهای تهدیدآمیز و عجیبوغریب آن ادامه مییابد و تحقیقات بنیادی نیز به منظور محدود کردن رفتارهای غیرقابل پیشبینی در این مدلها مورد استفاده قرار خواهند گرفت، در غیر اینصورت کاربران هنگام کار با چتباتهای هوش مصنوعی با خطر فاش شدن اطلاعات شخصی مواجه خواهند شد.
مایکروسافت اعلام کرده است از مشکل تزریق غیرمستقیم اطلاع دارد و اقدامات لازم را برای حفظ امنیت کاربران انجام خواهد داد. این تکنیک فقط در نسخهی پیشنمایش مرورگر اج قابل اجرا است و غول فناوری اهل ردموند متعهد شده است تا امنیت مرورگر خود را قبل از انتشار نسخهی عمومی ارتقا دهد.
بمنظور اطلاع از دیگر خبرها به صفحه اخبار فناوری مراجعه کنید.