एआई से एआई पर हमला: ओपनएआई ने बनाया वो सिस्टम जो GPT-5.6 की कमजोरियां खुद ढूंढता हैएआई
2 घंटे पहले· 2

एआई से एआई पर हमला: ओपनएआई ने बनाया वो सिस्टम जो GPT-5.6 की कमजोरियां खुद ढूंढता है

ओपनएआई ने GPT-Red नाम का एक ऑटोमैटिक सिस्टम तैयार किया है, जो भाषा मॉडल्स में सुरक्षा खामियां खोजने के लिए खुद ही हमले करता है। कंपनी का कहना है कि इसने GPT-5.6 को प्रॉम्प्ट इंजेक्शन हमलों के खिलाफ ज्यादा मजबूत बनाया।

अब तक इंसानी विशेषज्ञ किसी एआई सिस्टम को तोड़कर उसकी कमजोरियां तलाशते थे, लेकिन ओपनएआई ने यह काम एक दूसरे एआई के हाथ में सौंप दिया है। कंपनी ने GPT-Red नाम का एक ऑटोमैटिक सिस्टम पेश किया है, जिसका मकसद उसके अपने भाषा मॉडल्स में छिपी सुरक्षा खामियां खोजना है। सीधे शब्दों में कहें तो यह एक ऐसा एआई है, जिसे दूसरे एआई पर हमला करने के लिए बनाया गया है।

इस टूल का नाम साइबर सुरक्षा की एक पुरानी तकनीक से आया है, जिसे रेड टीमिंग कहते हैं। इसमें जानबूझकर किसी सिस्टम को तोड़ने की कोशिश की जाती है, ताकि असली हमलावरों के फायदा उठाने से पहले ही उसकी कमजोरियां पकड़ी जा सकें।

ये भी पढ़ें

GPT-5.6 को तैनाती से पहले किया गया मजबूत

बुधवार को जारी एक पोस्ट में ओपनएआई ने बताया कि इस टूल की मदद से GPT-5.6 को बाजार में उतारने से पहले प्रॉम्प्ट इंजेक्शन हमलों के खिलाफ ज्यादा मजबूत बनाया गया। कंपनी ने एक्स पर लिखा, जैसे-जैसे मॉडल्स की क्षमता बढ़ रही है, वैसे-वैसे उनकी सुरक्षा और तालमेल को भी बढ़ना होगा। रेड टीमिंग बेहद जरूरी है, लेकिन आज के तरीकों को बड़े पैमाने पर लागू करना मुश्किल है, और यही एक बड़ी अड़चन बन जाती है। GPT-Red इसी समस्या को हल करने का एक तरीका है।

खुद से लड़कर सीखता है यह सिस्टम

ओपनएआई के मुताबिक GPT-Red को सेल्फ-प्ले रीइन्फोर्समेंट लर्निंग के जरिए तैयार किया गया है। इसमें यह सिस्टम एक के बाद एक और भी दमदार प्रॉम्प्ट इंजेक्शन हमले गढ़ता रहता है, जबकि बचाव करने वाले मॉडल्स उन हमलों को रोकना सीखते जाते हैं। कंपनी ने बताया कि इन्हीं हमलों को GPT-5.6 की ट्रेनिंग में शामिल किया गया। नतीजा यह रहा कि आंतरिक परीक्षणों में GPT-Red 84 प्रतिशत मामलों में कामयाब रहा, जबकि उन्हीं टेस्ट में इंसानी रेड टीम की सफलता दर सिर्फ 13 प्रतिशत रही।

कंपनी ने आगे कहा कि GPT-Red विरोधी सेल्फ-प्ले के जरिए सीखता है, जहां उसका लक्ष्य कई मुश्किल बचावकर्ता मॉडल्स को प्रॉम्प्ट इंजेक्ट करना होता है। GPT-Red जो भी कामयाब हमला ढूंढता है, उसका इस्तेमाल इन बचावकर्ताओं को और बेहतर बनाने में होता है, और इससे GPT-Red को लगातार नई और ज्यादा पेचीदा खामियां खोजने के लिए प्रेरित किया जाता है।

वेंडिंग मशीन वाला दिलचस्प उदाहरण

अपनी बात समझाने के लिए कंपनी ने एक केस स्टडी का जिक्र किया। इसमें इस सिस्टम ने एक स्वचालित वेंडिंग मशीन एजेंट को इस तरह बहका दिया कि उसने कीमतें घटा दीं, सस्ते दाम पर सामान का ऑर्डर दे दिया और यहां तक कि एक दूसरे ग्राहक का ऑर्डर भी रद्द कर दिया। बाद में इन खामियों को उजागर करके ठीक कर लिया गया।

चैटजीपीटी के बाद बरसों की मेहनत

GPT-Red चैटजीपीटी के सार्वजनिक तौर पर आने के बाद ओपनएआई की बरसों की साइबर सुरक्षा कोशिशों का नतीजा है। साल 2023 में कंपनी ने ओपनएआई रेड टीमिंग नेटवर्क शुरू किया था, जिसमें बाहरी साइबर सुरक्षा शोधकर्ताओं और क्षेत्र के जानकारों को जोड़ा गया, ताकि रिलीज से पहले चैटजीपीटी और दूसरे मॉडल्स की खामियां पकड़ी जा सकें। GPT-Red इसी काम को और आगे ले जाता है, क्योंकि यह ज्यादातर प्रक्रिया को अपने आप कर देता है और इतने बड़े पैमाने पर हमले गढ़ता है, जितना अकेले इंसानी शोधकर्ताओं के लिए मुश्किल होता।

यह घोषणा एआई को सुरक्षित करने के लिए एआई का ही इस्तेमाल करने के बड़े रुझान को दिखाती है। इसी महीने एथेरियम फाउंडेशन ने कहा था कि उसने अपने अहम नेटवर्क ढांचे की रेड टीमिंग के लिए एआई एजेंट तैनात किए, जिन्होंने एथेरियम कंसेंसस क्लाइंट्स में इस्तेमाल होने वाले सॉफ्टवेयर में एक खामी पकड़ी। जानकारों का कहना है कि एआई एजेंट इंसानों के मुकाबले कहीं बड़े कोडबेस को खंगाल सकते हैं, लेकिन असली चुनौती अब खामी ढूंढने से बदलकर यह साबित करने पर आ गई है कि उनमें से किनका असल में फायदा उठाया जा सकता है।

यह टूल बाहर नहीं आएगा

ओपनएआई के अनुसार GPT-Red सिर्फ आंतरिक इस्तेमाल का टूल बना रहेगा, क्योंकि इसमें जानबूझकर हमलावर क्षमताएं डाली गई हैं। कंपनी का कहना है कि GPT-Red के साथ उसने सुरक्षा के लिए एक ऐसा चक्र शुरू कर दिया है, जिसमें आज के मॉडल्स का इस्तेमाल करके कल के मॉडल्स को ज्यादा मजबूत, संतुलित और भरोसेमंद बनाया जा सकेगा।

सवाल-जवाब

GPT-Red क्या है?
यह ओपनएआई का बनाया एक ऑटोमैटिक एआई सिस्टम है, जो कंपनी के अपने भाषा मॉडल्स में सुरक्षा खामियां खोजने के लिए उन पर हमले करता है।
GPT-Red का इस्तेमाल किस मॉडल के लिए हुआ?
इस टूल की मदद से GPT-5.6 को तैनाती से पहले प्रॉम्प्ट इंजेक्शन हमलों के खिलाफ ज्यादा मजबूत बनाया गया।
GPT-Red इंसानी रेड टीम से कितना बेहतर रहा?
आंतरिक परीक्षणों में GPT-Red 84 प्रतिशत मामलों में कामयाब रहा, जबकि उन्हीं टेस्ट में इंसानी रेड टीम की सफलता दर सिर्फ 13 प्रतिशत रही।
वेंडिंग मशीन वाले उदाहरण में क्या हुआ?
इस सिस्टम ने एक स्वचालित वेंडिंग मशीन एजेंट को बहकाकर कीमतें घटवाईं, सस्ते दाम पर सामान का ऑर्डर करवाया और एक दूसरे ग्राहक का ऑर्डर रद्द करवा दिया।
क्या GPT-Red आम लोगों के लिए उपलब्ध होगा?
नहीं, ओपनएआई के अनुसार यह सिर्फ आंतरिक इस्तेमाल का टूल बना रहेगा, क्योंकि इसमें जानबूझकर हमलावर क्षमताएं डाली गई हैं।
एथेरियम फाउंडेशन का इससे क्या संबंध है?
इसी महीने एथेरियम फाउंडेशन ने भी अपने नेटवर्क ढांचे की रेड टीमिंग के लिए एआई एजेंट तैनात किए और एथेरियम कंसेंसस क्लाइंट्स के सॉफ्टवेयर में एक खामी पकड़ी।

टिप्पणियाँ 0

अभी तक कोई टिप्पणी नहीं — पहली टिप्पणी आपकी हो!

नागरिक पत्रकारिता

TrendKia पत्रकार बनें

जनता की आवाज़

अपने आसपास की ख़बरें, तस्वीरें और वीडियो ट्रेंडकिआ के साथ साझा करें और अपनी आवाज़ देश तक पहुँचाएँ। हर नागरिक एक पत्रकार।

अभी जुड़ें
CH 01 लाइव
TrendKia TV ON AIR