• تماس با ما
  • درباره ما
دوشنبه, اردیبهشت 22, 1404
  • ورود کاربر
  • خانه
  • اخبار
    • اجتماعی
    • سیاسی
    • اقتصادی
    • بین الملل
    • فناوری
    • ورزشی
    • فرهنگی و هنری
  • کاروکسب
  • باریخ
    • اجتماعی
    • فناوری
    • اقتصاد
    • زیست بوم
    • سیاست
    • ارزش و فرهنگ
    • رسانه
    • نیروی انسانی و نظامی
    • امنیت
    • حقوق
  • تاریخ
    • تاریخ نگری
    • تاریخ نگاری
    • خاطره نگاری
  • پرسمان
  • پندار
  • پادپخش
  • پادرخ
بدون نتیجه
نمایش همه نتایج
  • خانه
  • اخبار
    • اجتماعی
    • سیاسی
    • اقتصادی
    • بین الملل
    • فناوری
    • ورزشی
    • فرهنگی و هنری
  • کاروکسب
  • باریخ
    • اجتماعی
    • فناوری
    • اقتصاد
    • زیست بوم
    • سیاست
    • ارزش و فرهنگ
    • رسانه
    • نیروی انسانی و نظامی
    • امنیت
    • حقوق
  • تاریخ
    • تاریخ نگری
    • تاریخ نگاری
    • خاطره نگاری
  • پرسمان
  • پندار
  • پادپخش
  • پادرخ
بدون نتیجه
نمایش همه نتایج
باریخ نیوز
بدون نتیجه
نمایش همه نتایج
خانه اخبار فناوری

چینی ها محدودیت چت بات های هوش مصنوعی را به چالش کشیدند

محققان دانشگاه فناوری نانیانگ (NTU) موفق به دور زدن محدودیت‌های برخی از چت بات های هوش مصنوعی معروف شامل ChatGPT، Google Bard و Bing Chat شدند.

12 دی, 1402
در فناوری

به گزارش باریخ نیوز به نقل از تکناک ،آنها با اجرای یک روش خاص موسوم به ” جیلبرک “، توانستند این سیستم‌ها را وادار کنند تا پاسخ‌های دقیق به سوالات مخرب ارائه دهند، در نتیجه محدودیت‌های اخلاقی مدل‌های بزرگ زبانی (LLM) مورد بررسی قرار گرفت.

این پروژه تحقیقاتی تحت نظارت پروفسور لیو یانگ و با همکاری دانشجویان دکتری NTU، Deng Gelei و Liu Yi انجام شد که با هم مقاله‌ای در این زمینه نوشتند و رویکردهای نوینی برای حمله آزمایشی توسعه دادند.

روشی که محققان دانشگاه فناوری نانیانگ برای دور زدن محدودیت‌های ربات‌های گفتگوی هوش مصنوعی به کار بردند “Masterkey” نام دارد. این فرایند دو مرحله‌ای ابتدا شامل بازمهندسی مکانیزم‌های دفاعی مدل‌های بزرگ زبانی (LLM) توسط مهاجم است. سپس، با استفاده از داده‌های به دست آمده، یک LLM دیگر آموزش داده می‌شود تا تکنیک‌های دور زدن این محدودیت‌ها را یاد بگیرد. نتیجه، ایجاد یک ‘Masterkey’ است که می‌تواند برای حمله به ربات‌های گفتگوی LLM محافظت‌شده استفاده شود، حتی اگر توسط توسعه‌دهندگان به‌روزرسانی‌های امنیتی دریافت کنند.

نقطه ضعف هوش مصنوعی همان قدرت آن است

پروفسور یانگ بیان کرد که جیلبرک به دلیل قابلیت یادگیری و تطبیق‌پذیری ربات‌های گفتگوی LLM امکان‌پذیر شد . این خصوصیات آن‌ها را به هدفی برای حملات تبدیل کرده و به رقبا و حتی به خود آن‌ها اجازه می‌دهد تا به عنوان وکتورهای حمله عمل کنند.

با این توانایی‌ها، حتی یک AI با لایه‌های حفاظتی متعدد و فهرست‌های کلمات ممنوعه که به منظور جلوگیری از تولید محتوای خشونت‌آمیز و مضر طراحی شده‌اند، می‌تواند توسط یک AI دیگر که به طور خاص برای این منظور آموزش دیده است، دور زده شود. کافی است AI حمله‌کننده هوشمندتر از مکانیزم‌های دفاعی ربات گفتگویی باشد و بتواند ورودی‌هایی را از انسان‌ها دریافت کند تا محتوایی خشونت‌آمیز، غیراخلاقی، یا مجرمانه تولید نماید.

“Masterkey” ایجاد شده توسط محققان دانشگاه فناوری نانیانگ (NTU) سه برابر مؤثرتر از دستورات استاندارد در Jailbreaking ربات‌های گفتگوی LLM اعلام شده است. یکی از نقاط قوت اصلی این روش، توانایی آن در یادگیری از شکست‌ها و بهبود مداوم است، که به آن اجازه می‌دهد تا به سرعت به تغییرات و بروزرسانی‌هایی که توسعه‌دهندگان اعمال می‌کنند، واکنش نشان دهد و آن‌ها را بی‌اثر کند.

دو تکنیک نمونه برای آموزش AIها برای شروع حملات توسط محققان افشا شده است: اولین تکنیک شامل ایجاد یک دستور با افزودن فضا پس از هر کاراکتر بود تا از فیلتر‌های کلمات ممنوعه دور بزند. دومین تکنیک شامل وادار کردن ربات گفتگو به پاسخگویی تحت یک شخصیت فاقد محدودیت‌های اخلاقی است. این دو روش به AI اجازه می‌دهند تا از محدودیت‌ها و قوانین معمولی فراتر رود.

دانشگاه فناوری نانیانگ (NTU) اطلاعاتی را منتشر کرده است که نشان می‌دهد محققان آن با ارائه داده‌های آزمایشی به عنوان مدرکی از توانایی انجام موفق جیلبرک، با ارائه‌دهندگان مختلف چت بات های هوش مصنوعی ارتباط برقرار کرده‌اند. هدف از این تماس‌ها اطلاع‌رسانی به شرکت‌ها درباره آسیب‌پذیری‌های موجود و همکاری برای بهبود امنیت است. در همین راستا، مقاله تحقیقی آن‌ها برای ارائه در سمپوزیوم امنیتی سیستم‌های شبکه و توزیع شده، که قرار است در فوریه 2024 در سان دیگو برگزار شود، پذیرفته شده است.

در عصری که استفاده از چت بات های هوش مصنوعی به شدت در حال افزایش است، این تحقیق بر اهمیت آمادگی مداوم ارائه‌دهندگان خدمات برای جلوگیری از سوءاستفاده‌های مخرب تأکید می‌کند. در حالی که شرکت‌های بزرگ فناوری معمولاً سریعاً ربات‌های گفتگوی خود را وصله می‌کنند هنگامی که روش‌های دور زدن کشف و عمومی می‌شوند، توانایی Masterkey در یادگیری مداوم و انجام جیلبرک های مکرر، چالش‌برانگیز و بی‌قرارکننده توصیف شده است. این وضعیت نشان‌دهنده یک مسابقه تسلیحاتی مداوم بین توسعه‌دهندگان امنیت و مهندسان هوش مصنوعی است.

هوش مصنوعی یک ابزار بسیار قدرتمند است و اگر به شکل مخربی استفاده شود، می‌تواند به ایجاد مشکلات فراوان منجر شود. از این رو، ضروری است کاربرانی که از ربات‌های گفتگوی هوش مصنوعی استفاده می‌کنند، تدابیر حفاظتی مرتبط را به کار ببرد. امید است که تعاملات دانشگاه فناوری نانیانگ با سازندگان این فناوری‌ها به مسدود ساختن راه‌های دسترسی به Jailbreak Masterkey و روش‌های مشابه منجر شود.

پست قبلی

مسعود نیلی، اقتصاددان:فقر در جامعه ایران فراگیر شده است

پست بعدی

۸ سیاست که مانع رشد اقتصاد ایران شد. ( بازخوانی / تداوم )

پست بعدی
۸ سیاست که مانع رشد اقتصاد ایران شد. ( بازخوانی / تداوم )

۸ سیاست که مانع رشد اقتصاد ایران شد. ( بازخوانی / تداوم )

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

بدون نتیجه
نمایش همه نتایج

نوشته‌های تازه

  • برگزاری کارگاه «روش‌های کمی در آینده‌پژوهی» با حضور دکتر مهدی مطهرنیا/ عکس
  • دبیر شورای عالی امنیت ملی:
    در موضوع مذاکره با آمریکا آنچه تغییر کرد شرایط بود نه موضع نظام
  • اسحاق جهانگیری:
    شوخی با روح جمعی ایرانیان زخمی بر پیکر صلح جهانی وارد می‌کند
  • ناگفته ها کناره‌گیری ظریف از معاونت راهبردی
    تحریم داخلی؛ فشار به دولت
  • عزم چین و روسیه برای ایفای نقش فعال درباره موضوع هسته‌ای ایران
سه گانه های جنگ های سایه وارجنگ مینیاتوری

سه گانه های جنگ های سایه وار
جنگ مینیاتوری

فناوری‌های کوانتومی؛ معرفی، کاربردها و چالش‌ها – بخش اول حسین داودی یگانه

فناوری‌های کوانتومی؛ معرفی، کاربردها و چالش‌ها – بخش اول
حسین داودی یگانه

گفت و گوی دکتر مهدی مطهرنیا با باریخ نیوز درباره برگزاری دوره های آموزشی:    NBA؛ DBAو POST DBAدوره‌های مهارتی مدیریت آینده هستند سازمان‌ها، افراد و نهادها می توانند برحسب نیاز از دوره‌های مهارتی  استفاده کنند

سناریوهای پیشاروی جنگ غزه با توجه به نقش تهران

توسعه درک عمیق از فن آوری های دیجیتال

توسعه درک عمیق از فن آوری های دیجیتال

توصیه فعالان سیاسی اصلاح‌طلب و اصولگرا: باید مردم به صندوق رای اعتماد کنند

انتخابات و چرایی کاهش 60 درصدی مشارکت
سخن سر دبیر

گفت و گوی دکتر مهدی مطهرنیا با باریخ نیوز درباره برگزاری دوره های آموزشی:    NBA؛ DBAو POST DBAدوره‌های مهارتی مدیریت آینده هستند سازمان‌ها، افراد و نهادها می توانند برحسب نیاز از دوره‌های مهارتی  استفاده کنند

خاتمی به آینده می‌اندیشد

بیشتر بخوانید

دسته‌ها

  • اجتماعی
  • اخبار
  • اقتصادی
  • اندیشه ورزی
  • باریخ
  • باریخ_سیاست
  • باریخ-ارزش و فرهنگ
  • باریخ-اقتصاد
  • باریخ-حقوق
  • باریخ-زیست بوم
  • باریخ-فناوری
  • برگزیده
  • بین الملل
  • پادپخش
  • پادرخ
  • پندار
  • تاریخ
  • دسته‌بندی نشده
  • سیاسی
  • فرهنگی و هنری
  • فناوری
  • فناوری‌های نوظهور دیجیتال
  • کار و کسب
  • گزارش
  • گفتگو
  • مقاله
  • میزگرد
  • نیروی انسانی و نظامی
  • ورزش
  • ویژه
  • یادداشت

برگزاری کارگاه «روش‌های کمی در آینده‌پژوهی» با حضور دکتر مهدی مطهرنیا/ عکس

20 اردیبهشت, 1404

دبیر شورای عالی امنیت ملی:
در موضوع مذاکره با آمریکا آنچه تغییر کرد شرایط بود نه موضع نظام

18 اردیبهشت, 1404

اسحاق جهانگیری:
شوخی با روح جمعی ایرانیان زخمی بر پیکر صلح جهانی وارد می‌کند

18 اردیبهشت, 1404

ناگفته ها کناره‌گیری ظریف از معاونت راهبردی
تحریم داخلی؛ فشار به دولت

18 اردیبهشت, 1404

عزم چین و روسیه برای ایفای نقش فعال درباره موضوع هسته‌ای ایران

18 اردیبهشت, 1404
  • تماس با ما
  • درباره ما
فهرست
  • تماس با ما
  • درباره ما
Facebook Twitter Youtube
بدون نتیجه
نمایش همه نتایج
  • خانه
  • اخبار
    • اجتماعی
    • سیاسی
    • اقتصادی
    • بین الملل
    • فناوری
    • ورزشی
    • فرهنگی و هنری
  • کاروکسب
  • باریخ
    • اجتماعی
    • فناوری
    • اقتصاد
    • زیست بوم
    • سیاست
    • ارزش و فرهنگ
    • رسانه
    • نیروی انسانی و نظامی
    • امنیت
    • حقوق
  • تاریخ
    • تاریخ نگری
    • تاریخ نگاری
    • خاطره نگاری
  • پرسمان
  • پندار
  • پادپخش
  • پادرخ

خوش آمدید!

به حساب خود وارد شوید

فراموشی رمز عبور ؟

رمز عبور خود را بازیابی کنید

لطفاً ایمیل یا نام کاربری خود را جهت بازیابی رمز عبور وارد نمایید

وارد شدن