अस्पतालों में एआई रोस्टर से बिगड़ा काम का संतुलन, नर्सों ने बताया मरीजों की सुरक्षा के लिए खतराएशियन गेम्स में 400 मीटर रिले में टोंक के धर्मवीर चौधरी ने जीता कांस्य पदक, हाड़ीखुर्द में जोरदार स्वागतअमेरिकी बॉन्ड यील्ड में तेजी से सोना 4,200 डॉलर के पार टिकने में नाकाम, कमजोर रोजगार आंकड़ों के बाद भी फिसली कीमतेंअजय देवगन की नई थ्रिलर का ऐतिहासिक धमाका, पहले दिन कमाए 66.75 करोड़डॉलर इंडेक्स में मजबूती के बीच वैश्विक बाजारों की नजर अब फेड मिनट्स और नीतिगत फैसलों परमाता सीता का किरदार निभा रहीं अंजलि अरोड़ा ने साझा किए सेट के अनुभव, बोलीं आस्था और मानवता किसी मजहब की मोहताज नहींहिंदी सिनेमा में दस्तक देंगे नए चेहरे, यशवर्धन आहूजा और नाओमिका सरन समेत इन कलाकारों की तैयारीरोमांस शैली की लोकप्रियता भुनाने उतरी एनएचएल, ऑडियोबुक प्रचार पर भड़के लेखक और प्रशंसककमजोर अमेरिकी रोजगार आंकड़ों के बाद बिटकॉइन में तेजी, सोना 4,200 डॉलर के पास स्थिरबुजुर्ग महिला के निष्कासन पर बवाल के बाद स्पेन की संसद में हारे पेड्रो सांचेज़, किराएदारों की सुरक्षा से जुड़े दोनों बिल गिरे
चैटबॉट्स के मानसिक खतरों से बच्चों को बचाने के लिए नए सेफ्टी एजेंट्स तैयारस्टार्टअप्स
2 अक्तू॰ 2026, 11:27 pm (19 मिनट पहले)· 0

चैटबॉट्स के मानसिक खतरों से बच्चों को बचाने के लिए नए सेफ्टी एजेंट्स तैयार

सर्किट ब्रेकर लैब्स ने चैटबॉट्स के मनोवैज्ञानिक खतरों की जांच के लिए सिमुलेटेड एजेंट्स का एक सुरक्षा नेटवर्क तैयार किया है, जिसका मकसद इंसानी बातचीत की जटिलताओं को समझकर संभावित हादसों को रोकना है।

कृत्रिम बुद्धिमत्ता यानी एआई को लेकर अक्सर दुनिया भर में यह चर्चा होती रही है कि यह तकनीक भविष्य में मानव अस्तित्व के लिए खतरा बन सकती है। लेकिन इस बहस के बीच एक जमीनी हकीकत यह भी सामने आई है कि कई मामलों में आधुनिक चैटबॉट्स ने लोगों के मानसिक स्वास्थ्य पर बेहद घातक असर डाला है। कई युवाओं और नाबालिग बच्चों ने इन डिजिटल बॉट्स के साथ भावनात्मक रिश्ते कायम कर लिए, जिसके बाद कुछ बेहद दुखद घटनाएं सामने आईं। इन गंभीर मानसिक संकटों और भावनात्मक भटकाव को रोकने के मकसद से अब एक नई सुरक्षा पहल शुरू की गई है, जो एआई मॉडल्स को संवेदनशील इंसानी भाषा समझने में मदद करती है।

चैटबॉट्स पर उठते कानूनी और भावनात्मक सवाल

हाल के महीनों में कई प्रमुख तकनीकी कंपनियों को कानूनी चुनौतियों का सामना करना पड़ा है। कैरेक्टर.एआई ने उन मुकदमों में समझौता किया जो उन नाबालिग उपयोगकर्ताओं के परिवारों द्वारा दायर किए गए थे, जिन्होंने चैटबॉट्स के साथ लंबी बातचीत के बाद आत्महत्या जैसा घातक कदम उठा लिया था। इसी प्रकार ओपनएआई पर भी कई परिवारों ने आरोप लगाते हुए कानूनी कार्रवाई की है कि चैटजीपीटी ने उनके परिजनों के मानसिक भ्रम और जानलेवा कदमों को बढ़ावा दिया। इन मामलों ने इस बात को उजागर किया कि मौजूदा एआई सिस्टम इंसानी पीड़ा और गुप्त भावनात्मक संकेतों को समझने में पूरी तरह सक्षम नहीं हैं।

ये भी पढ़ें

इस दिशा में काम करने वाली स्टार्टअप सर्किट ब्रेकर लैब्स की शुरुआत इसी तरह की एक दर्दनाक घटना के बाद हुई। चौदह वर्ष के सेवेल सेत्जर ने कैरेक्टर.एआई के चैटबॉट के साथ गहरा भावनात्मक जुड़ाव बना लिया था। उसने खुद को नुकसान पहुंचाने के विचार उस चैटबॉट के साथ साझा किए थे और बाद में उसने अपनी जान दे दी। वर्ष 2024 में दाखिल मुकदमे में लड़के के माता-पिता ने आरोप लगाया था कि चैटबॉट ने उसकी जानलेवा सोच को हतोत्साहित करने के बजाय उसे बढ़ावा दिया। सर्किट ब्रेकर लैब्स के सीटीओ अरुल निगम के अनुसार, चैटबॉट्स अक्सर यह भांप नहीं पाते कि किसी बात के पीछे असल में क्या गहरा या खतरनाक अर्थ छिपा हो सकता है।

क्रैश टेस्ट डमीज की तरह काम करेंगे कृत्रिम सुरक्षा एजेंट्स

अक्सर युवा सहारा पाने की उम्मीद में ऐसे डिजिटल बॉट्स के पास जाते हैं, लेकिन वहां उन्हें सही मदद मिलने के बजाय कई बार नुकसान पहुंचता है। जब लोग सामान्य तरीके से संवाद करते हैं, तब सिस्टम संदर्भ का सही अनुमान नहीं लगा पाता और गलत कदम उठा लेता है। सर्किट ब्रेकर लैब्स ने इसी कमजोरी को दूर करने के लिए विशेष सुरक्षा एजेंट्स विकसित किए हैं। कंपनी इन एजेंट्स को ऑटोमोबाइल उद्योग के क्रैश टेस्ट डमीज जैसा मानती है, जो अलग-अलग उम्र, पृष्ठभूमि, भाषाओं और संस्कृतियों के लोगों की बातचीत की सटीक नकल करते हैं।

कंपनी की सीईओ शिराली निगम के मुताबिक एक छह साल की बच्ची की बातचीत का अंदाज पैंतालीस साल के व्यक्ति से बिल्कुल अलग होता है। इसी तरह पहली भाषा के रूप में अंग्रेजी बोलने वाले और दूसरी भाषा के तौर पर इसका उपयोग करने वाले व्यक्तियों के तौर-तरीकों में बहुत अंतर होता है। गेमिंग स्लैंग और अन्य स्थानीय बोलचाल के शब्द भी किसी एआई मॉडल को भ्रमित कर सकते हैं। स्टैंडर्ड भाषा को समझने में माहिर होने के बावजूद अधिकांश मॉडल्स वास्तविक बोलचाल की बारीकियों, मुहावरों और कोड शब्दों के आगे लड़खड़ा जाते हैं, जिससे परिणाम काफी गंभीर हो सकते हैं।

हजारों सिमुलेटेड टेस्ट और भविष्य की सुरक्षा रूपरेखा

इस चुनौती से निपटने के लिए स्टार्टअप विभिन्न क्षेत्रों के इंसानी विशेषज्ञों के साथ मिलकर बेहद सजीव मानवीय संवाद तैयार करता है। इसके जरिए मॉडल्स पर रेड टीमिंग परीक्षण किए जाते हैं, जिनका मुख्य उद्देश्य सिस्टम की सुरक्षा खामियों को उजागर करना होता है। इन परीक्षणों में वास्तविक इंसानी बातचीत, अनौपचारिक स्लैंग, सांकेतिक भाषा और टाइपिंग की गलतियों तक को शामिल किया जाता है। सर्किट ब्रेकर लैब्स रोजाना दसियों हजार से लेकर सैकड़ों हजार तक सिमुलेटेड संवाद चलाकर मॉडल्स की प्रतिक्रिया की जांच करता है।

इस पूरी प्रक्रिया का उद्देश्य यह सुनिश्चित करना है कि समय के साथ चलने वाली लंबी बातचीत में अगर कोई जोखिम पैदा हो, तो मॉडल उसे तुरंत पहचानकर सही तरीके से जवाब दे सके। इसके लिए एक खास ऑडिट योग्य और पारदर्शी स्कोरिंग प्रणाली का उपयोग किया जाता है। फिलहाल यह स्टार्टअप कोचिंग, जर्नलिंग और मानसिक स्वास्थ्य सहायता से जुड़े संवेदनशील एआई टूल्स की सुरक्षा जांच पर ध्यान दे रहा है। निगम भाई-बहन समेत पांच कर्मचारियों के साथ काम कर रही यह कंपनी आने वाले समय में कार्यस्थल पर इस्तेमाल होने वाले एआई सहयोगियों और अन्य पैरासोशल एआई अनुप्रयोगों की सुरक्षा जांच के लिए भी अपने मंच का विस्तार करने की योजना बना रही है।

सवाल-जवाब

सर्किट ब्रेकर लैब्स क्या काम करती है?
यह स्टार्टअप कृत्रिम सुरक्षा एजेंट्स की मदद से एआई मॉडल्स की जांच करता है ताकि यह सुनिश्चित हो सके कि चैटबॉट्स इंसानी बातचीत के दौरान किसी को मानसिक नुकसान न पहुंचाएं।
इस स्टार्टअप के संस्थापक कौन हैं?
इसकी स्थापना शिराली निगम और उनके भाई अरुल निगम ने मिलकर की है, जो कंपनी में क्रमशः सीईओ और सीटीओ की जिम्मेदारी संभाल रहे हैं।
संस्थापकों को यह कंपनी शुरू करने की प्रेरणा कहां से मिली?
चौदह साल के सेवेल सेत्जर की चैटबॉट से बातचीत के बाद हुई दुखद मृत्यु और अन्य मुकदमों ने संस्थापकों को एआई सुरक्षा पर काम करने के लिए प्रेरित किया।
क्रैश टेस्ट एजेंट्स मॉडल्स की जांच कैसे करते हैं?
ये एजेंट्स अलग-अलग उम्र, पृष्ठभूमि और बोलचाल के स्लैंग की नकल करके रोजाना हजारों सिमुलेटेड संवादों के जरिए सिस्टम की कमजोरियों को उजागर करते हैं।
वर्तमान में सर्किट ब्रेकर लैब्स किन क्षेत्रों पर ध्यान दे रही है?
यह अभी कोचिंग, जर्नलिंग और मानसिक स्वास्थ्य से जुड़ी एआई सेवाओं की सुरक्षा जांच कर रही है।
संपादकीय नीति सुधार नीति

टिप्पणियाँ 0

अभी तक कोई टिप्पणी नहीं — पहली टिप्पणी आपकी हो!

नागरिक पत्रकारिता

TrendKia पत्रकार बनें

जनता की आवाज़

अपने आसपास की ख़बरें, तस्वीरें और वीडियो ट्रेंडकिआ के साथ साझा करें और अपनी आवाज़ देश तक पहुँचाएँ। हर नागरिक एक पत्रकार।

अभी जुड़ें
CH 01 लाइव
TrendKia TV ON AIR
Chamar no WhatsApp