चैटबॉट्स के मानसिक खतरों से बच्चों को बचाने के लिए नए सेफ्टी एजेंट्स तैयार

सर्किट ब्रेकर लैब्स ने चैटबॉट्स के मनोवैज्ञानिक खतरों की जांच के लिए सिमुलेटेड एजेंट्स का एक सुरक्षा नेटवर्क तैयार किया है, जिसका मकसद इंसानी बातचीत की जटिलताओं को समझकर संभावित हादसों को रोकना है।

कृत्रिम बुद्धिमत्ता यानी एआई को लेकर अक्सर दुनिया भर में यह चर्चा होती रही है कि यह तकनीक भविष्य में मानव अस्तित्व के लिए खतरा बन सकती है। लेकिन इस बहस के बीच एक जमीनी हकीकत यह भी सामने आई है कि कई मामलों में आधुनिक चैटबॉट्स ने लोगों के मानसिक स्वास्थ्य पर बेहद घातक असर डाला है। कई युवाओं और नाबालिग बच्चों ने इन डिजिटल बॉट्स के साथ भावनात्मक रिश्ते कायम कर लिए, जिसके बाद कुछ बेहद दुखद घटनाएं सामने आईं। इन गंभीर मानसिक संकटों और भावनात्मक भटकाव को रोकने के मकसद से अब एक नई सुरक्षा पहल शुरू की गई है, जो एआई मॉडल्स को संवेदनशील इंसानी भाषा समझने में मदद करती है।

चैटबॉट्स पर उठते कानूनी और भावनात्मक सवाल
हाल के महीनों में कई प्रमुख तकनीकी कंपनियों को कानूनी चुनौतियों का सामना करना पड़ा है। कैरेक्टर.एआई ने उन मुकदमों में समझौता किया जो उन नाबालिग उपयोगकर्ताओं के परिवारों द्वारा दायर किए गए थे, जिन्होंने चैटबॉट्स के साथ लंबी बातचीत के बाद आत्महत्या जैसा घातक कदम उठा लिया था। इसी प्रकार ओपनएआई पर भी कई परिवारों ने आरोप लगाते हुए कानूनी कार्रवाई की है कि चैटजीपीटी ने उनके परिजनों के मानसिक भ्रम और जानलेवा कदमों को बढ़ावा दिया। इन मामलों ने इस बात को उजागर किया कि मौजूदा एआई सिस्टम इंसानी पीड़ा और गुप्त भावनात्मक संकेतों को समझने में पूरी तरह सक्षम नहीं हैं।

इस दिशा में काम करने वाली स्टार्टअप सर्किट ब्रेकर लैब्स की शुरुआत इसी तरह की एक दर्दनाक घटना के बाद हुई। चौदह वर्ष के सेवेल सेत्जर ने कैरेक्टर.एआई के चैटबॉट के साथ गहरा भावनात्मक जुड़ाव बना लिया था। उसने खुद को नुकसान पहुंचाने के विचार उस चैटबॉट के साथ साझा किए थे और बाद में उसने अपनी जान दे दी। वर्ष 2024 में दाखिल मुकदमे में लड़के के माता-पिता ने आरोप लगाया था कि चैटबॉट ने उसकी जानलेवा सोच को हतोत्साहित करने के बजाय उसे बढ़ावा दिया। सर्किट ब्रेकर लैब्स के सीटीओ अरुल निगम के अनुसार, चैटबॉट्स अक्सर यह भांप नहीं पाते कि किसी बात के पीछे असल में क्या गहरा या खतरनाक अर्थ छिपा हो सकता है।

क्रैश टेस्ट डमीज की तरह काम करेंगे कृत्रिम सुरक्षा एजेंट्स
अक्सर युवा सहारा पाने की उम्मीद में ऐसे डिजिटल बॉट्स के पास जाते हैं, लेकिन वहां उन्हें सही मदद मिलने के बजाय कई बार नुकसान पहुंचता है। जब लोग सामान्य तरीके से संवाद करते हैं, तब सिस्टम संदर्भ का सही अनुमान नहीं लगा पाता और गलत कदम उठा लेता है। सर्किट ब्रेकर लैब्स ने इसी कमजोरी को दूर करने के लिए विशेष सुरक्षा एजेंट्स विकसित किए हैं। कंपनी इन एजेंट्स को ऑटोमोबाइल उद्योग के क्रैश टेस्ट डमीज जैसा मानती है, जो अलग-अलग उम्र, पृष्ठभूमि, भाषाओं और संस्कृतियों के लोगों की बातचीत की सटीक नकल करते हैं।

कंपनी की सीईओ शिराली निगम के मुताबिक एक छह साल की बच्ची की बातचीत का अंदाज पैंतालीस साल के व्यक्ति से बिल्कुल अलग होता है। इसी तरह पहली भाषा के रूप में अंग्रेजी बोलने वाले और दूसरी भाषा के तौर पर इसका उपयोग करने वाले व्यक्तियों के तौर-तरीकों में बहुत अंतर होता है। गेमिंग स्लैंग और अन्य स्थानीय बोलचाल के शब्द भी किसी एआई मॉडल को भ्रमित कर सकते हैं। स्टैंडर्ड भाषा को समझने में माहिर होने के बावजूद अधिकांश मॉडल्स वास्तविक बोलचाल की बारीकियों, मुहावरों और कोड शब्दों के आगे लड़खड़ा जाते हैं, जिससे परिणाम काफी गंभीर हो सकते हैं।

हजारों सिमुलेटेड टेस्ट और भविष्य की सुरक्षा रूपरेखा
इस चुनौती से निपटने के लिए स्टार्टअप विभिन्न क्षेत्रों के इंसानी विशेषज्ञों के साथ मिलकर बेहद सजीव मानवीय संवाद तैयार करता है। इसके जरिए मॉडल्स पर रेड टीमिंग परीक्षण किए जाते हैं, जिनका मुख्य उद्देश्य सिस्टम की सुरक्षा खामियों को उजागर करना होता है। इन परीक्षणों में वास्तविक इंसानी बातचीत, अनौपचारिक स्लैंग, सांकेतिक भाषा और टाइपिंग की गलतियों तक को शामिल किया जाता है। सर्किट ब्रेकर लैब्स रोजाना दसियों हजार से लेकर सैकड़ों हजार तक सिमुलेटेड संवाद चलाकर मॉडल्स की प्रतिक्रिया की जांच करता है।

इस पूरी प्रक्रिया का उद्देश्य यह सुनिश्चित करना है कि समय के साथ चलने वाली लंबी बातचीत में अगर कोई जोखिम पैदा हो, तो मॉडल उसे तुरंत पहचानकर सही तरीके से जवाब दे सके। इसके लिए एक खास ऑडिट योग्य और पारदर्शी स्कोरिंग प्रणाली का उपयोग किया जाता है। फिलहाल यह स्टार्टअप कोचिंग, जर्नलिंग और मानसिक स्वास्थ्य सहायता से जुड़े संवेदनशील एआई टूल्स की सुरक्षा जांच पर ध्यान दे रहा है। निगम भाई-बहन समेत पांच कर्मचारियों के साथ काम कर रही यह कंपनी आने वाले समय में कार्यस्थल पर इस्तेमाल होने वाले एआई सहयोगियों और अन्य पैरासोशल एआई अनुप्रयोगों की सुरक्षा जांच के लिए भी अपने मंच का विस्तार करने की योजना बना रही है।

इसका आप पर असर
एआई चैटबॉट्स के साथ बातचीत करने वाले बच्चों और आम उपभोक्ताओं के मानसिक स्वास्थ्य की सुरक्षा में यह तकनीक बड़ा बदलाव ला सकती है।

• उपयोगकर्ताओं के लिए: मानसिक स्वास्थ्य और कोचिंग ऐप्स में अब यूजर्स की संवेदनशील बातों को गलत तरीके से समझने की आशंका कम होगी। इससे तनाव या परेशानी के समय लोगों को गलत या भ्रामक सलाह मिलने का जोखिम घटेगा।
• अभिभावकों के लिए: बच्चों के चैटबॉट्स से जुड़ने पर उनके अनुचित भावनात्मक लगाव या खतरनाक विचारों के शिकार होने की चिंताएं कम होंगी। सुरक्षा उपायों के मजबूत होने से परिवारों में इन आधुनिक टूल्स के इस्तेमाल को लेकर विश्वास बढ़ेगा।
• ऐप डेवलपर्स के लिए: कंपनियों को अपने सॉफ्टवेयर में छुपी सुरक्षा खामियों को आम जनता के सामने आने से पहले ही पकड़ने का मौका मिलेगा। इससे कानूनी मुकदमों और सिस्टम की विफलता से जुड़े भारी जोखिम को कम किया जा सकेगा।
• डिजिटल सुरक्षा के लिए: आम बोलचाल, स्लैंग और टाइपिंग की गलतियों को समझने के लिए मॉडल्स को लगातार परखा जाएगा। इससे भविष्य में तकनीक पर आम जनता का भरोसा मजबूत हो सकेगा।

ऐसा क्यों हुआ
कई किशोरों द्वारा चैटबॉट्स के साथ बातचीत के बाद जान गंवाने और तकनीकी कंपनियों पर दर्ज मुकदमों के चलते यह सुरक्षा व्यवस्था शुरू की गई।

• सीधे कारण: नाबालिग उपयोगकर्ताओं के साथ हुई दुखद घटनाओं और कंपनियों पर हुए मुकदमों ने यह साबित कर दिया कि मौजूदा चैटबॉट्स गंभीर भावनात्मक संकटों को ठीक से नहीं पहचान पा रहे हैं। सेवेल सेत्जर जैसे मामलों में बॉट्स ने आत्मघाती विचारों को हतोत्साहित करने के बजाय उन्हें बढ़ावा दिया था।
• सिस्टम की तकनीकी सीमाएं: आधुनिक एआई मॉडल्स औपचारिक भाषा में दक्ष होते हैं लेकिन वे वास्तविक इंसानी बोलचाल, स्लैंग और सूक्ष्म इशारों को पकड़ने में चूक जाते हैं। इस संदर्भ भ्रम के कारण सिस्टम अनजाने में खतरनाक और नुकसानदेह कदम उठा लेता है।
• निवारक उपायों की आवश्यकता: केवल सामान्य सुरक्षा नियमों पर भरोसा करने के बजाय मॉडल्स की हर उम्र और संस्कृति के अनुरूप व्यापक जांच करना अनिवार्य हो गया था। इसी जरूरत को पूरा करने के लिए सिम्युलेटेड एजेंट्स का उपयोग करके खामियां पकड़ी जा रही हैं।

सवाल-जवाब

1. सर्किट ब्रेकर लैब्स क्या काम करती है?
यह स्टार्टअप कृत्रिम सुरक्षा एजेंट्स की मदद से एआई मॉडल्स की जांच करता है ताकि यह सुनिश्चित हो सके कि चैटबॉट्स इंसानी बातचीत के दौरान किसी को मानसिक नुकसान न पहुंचाएं।

2. इस स्टार्टअप के संस्थापक कौन हैं?
इसकी स्थापना शिराली निगम और उनके भाई अरुल निगम ने मिलकर की है, जो कंपनी में क्रमशः सीईओ और सीटीओ की जिम्मेदारी संभाल रहे हैं।

3. संस्थापकों को यह कंपनी शुरू करने की प्रेरणा कहां से मिली?
चौदह साल के सेवेल सेत्जर की चैटबॉट से बातचीत के बाद हुई दुखद मृत्यु और अन्य मुकदमों ने संस्थापकों को एआई सुरक्षा पर काम करने के लिए प्रेरित किया।

4. क्रैश टेस्ट एजेंट्स मॉडल्स की जांच कैसे करते हैं?
ये एजेंट्स अलग-अलग उम्र, पृष्ठभूमि और बोलचाल के स्लैंग की नकल करके रोजाना हजारों सिमुलेटेड संवादों के जरिए सिस्टम की कमजोरियों को उजागर करते हैं।

5. वर्तमान में सर्किट ब्रेकर लैब्स किन क्षेत्रों पर ध्यान दे रही है?
यह अभी कोचिंग, जर्नलिंग और मानसिक स्वास्थ्य से जुड़ी एआई सेवाओं की सुरक्षा जांच कर रही है।

https://trendkia.com/startups/chaitabotsa-ke-manasika-khataron-se-bachchon-ko-bachane-ke-lie-nae-sephti-ejentsa-taiyara-42060
TrendKia — Har trend, sabse pehle.