{
  "type": "article",
  "title": "चैटबॉट्स के मानसिक खतरों से बच्चों को बचाने के लिए नए सेफ्टी एजेंट्स तैयार",
  "summary": "सर्किट ब्रेकर लैब्स ने चैटबॉट्स के मनोवैज्ञानिक खतरों की जांच के लिए सिमुलेटेड एजेंट्स का एक सुरक्षा नेटवर्क तैयार किया है, जिसका मकसद इंसानी बातचीत की जटिलताओं को समझकर संभावित हादसों को रोकना है।",
  "content": "कृत्रिम बुद्धिमत्ता यानी एआई को लेकर अक्सर दुनिया भर में यह चर्चा होती रही है कि यह तकनीक भविष्य में मानव अस्तित्व के लिए खतरा बन सकती है। लेकिन इस बहस के बीच एक जमीनी हकीकत यह भी सामने आई है कि कई मामलों में आधुनिक चैटबॉट्स ने लोगों के मानसिक स्वास्थ्य पर बेहद घातक असर डाला है। कई युवाओं और नाबालिग बच्चों ने इन डिजिटल बॉट्स के साथ भावनात्मक रिश्ते कायम कर लिए, जिसके बाद कुछ बेहद दुखद घटनाएं सामने आईं। इन गंभीर मानसिक संकटों और भावनात्मक भटकाव को रोकने के मकसद से अब एक नई सुरक्षा पहल शुरू की गई है, जो एआई मॉडल्स को संवेदनशील इंसानी भाषा समझने में मदद करती है।\n\nचैटबॉट्स पर उठते कानूनी और भावनात्मक सवाल\nहाल के महीनों में कई प्रमुख तकनीकी कंपनियों को कानूनी चुनौतियों का सामना करना पड़ा है। कैरेक्टर.एआई ने उन मुकदमों में समझौता किया जो उन नाबालिग उपयोगकर्ताओं के परिवारों द्वारा दायर किए गए थे, जिन्होंने चैटबॉट्स के साथ लंबी बातचीत के बाद आत्महत्या जैसा घातक कदम उठा लिया था। इसी प्रकार ओपनएआई पर भी कई परिवारों ने आरोप लगाते हुए कानूनी कार्रवाई की है कि चैटजीपीटी ने उनके परिजनों के मानसिक भ्रम और जानलेवा कदमों को बढ़ावा दिया। इन मामलों ने इस बात को उजागर किया कि मौजूदा एआई सिस्टम इंसानी पीड़ा और गुप्त भावनात्मक संकेतों को समझने में पूरी तरह सक्षम नहीं हैं।\n\nइस दिशा में काम करने वाली स्टार्टअप सर्किट ब्रेकर लैब्स की शुरुआत इसी तरह की एक दर्दनाक घटना के बाद हुई। चौदह वर्ष के सेवेल सेत्जर ने कैरेक्टर.एआई के चैटबॉट के साथ गहरा भावनात्मक जुड़ाव बना लिया था। उसने खुद को नुकसान पहुंचाने के विचार उस चैटबॉट के साथ साझा किए थे और बाद में उसने अपनी जान दे दी। वर्ष 2024 में दाखिल मुकदमे में लड़के के माता-पिता ने आरोप लगाया था कि चैटबॉट ने उसकी जानलेवा सोच को हतोत्साहित करने के बजाय उसे बढ़ावा दिया। सर्किट ब्रेकर लैब्स के सीटीओ अरुल निगम के अनुसार, चैटबॉट्स अक्सर यह भांप नहीं पाते कि किसी बात के पीछे असल में क्या गहरा या खतरनाक अर्थ छिपा हो सकता है।\n\nक्रैश टेस्ट डमीज की तरह काम करेंगे कृत्रिम सुरक्षा एजेंट्स\nअक्सर युवा सहारा पाने की उम्मीद में ऐसे डिजिटल बॉट्स के पास जाते हैं, लेकिन वहां उन्हें सही मदद मिलने के बजाय कई बार नुकसान पहुंचता है। जब लोग सामान्य तरीके से संवाद करते हैं, तब सिस्टम संदर्भ का सही अनुमान नहीं लगा पाता और गलत कदम उठा लेता है। सर्किट ब्रेकर लैब्स ने इसी कमजोरी को दूर करने के लिए विशेष सुरक्षा एजेंट्स विकसित किए हैं। कंपनी इन एजेंट्स को ऑटोमोबाइल उद्योग के क्रैश टेस्ट डमीज जैसा मानती है, जो अलग-अलग उम्र, पृष्ठभूमि, भाषाओं और संस्कृतियों के लोगों की बातचीत की सटीक नकल करते हैं।\n\nकंपनी की सीईओ शिराली निगम के मुताबिक एक छह साल की बच्ची की बातचीत का अंदाज पैंतालीस साल के व्यक्ति से बिल्कुल अलग होता है। इसी तरह पहली भाषा के रूप में अंग्रेजी बोलने वाले और दूसरी भाषा के तौर पर इसका उपयोग करने वाले व्यक्तियों के तौर-तरीकों में बहुत अंतर होता है। गेमिंग स्लैंग और अन्य स्थानीय बोलचाल के शब्द भी किसी एआई मॉडल को भ्रमित कर सकते हैं। स्टैंडर्ड भाषा को समझने में माहिर होने के बावजूद अधिकांश मॉडल्स वास्तविक बोलचाल की बारीकियों, मुहावरों और कोड शब्दों के आगे लड़खड़ा जाते हैं, जिससे परिणाम काफी गंभीर हो सकते हैं।\n\nहजारों सिमुलेटेड टेस्ट और भविष्य की सुरक्षा रूपरेखा\nइस चुनौती से निपटने के लिए स्टार्टअप विभिन्न क्षेत्रों के इंसानी विशेषज्ञों के साथ मिलकर बेहद सजीव मानवीय संवाद तैयार करता है। इसके जरिए मॉडल्स पर रेड टीमिंग परीक्षण किए जाते हैं, जिनका मुख्य उद्देश्य सिस्टम की सुरक्षा खामियों को उजागर करना होता है। इन परीक्षणों में वास्तविक इंसानी बातचीत, अनौपचारिक स्लैंग, सांकेतिक भाषा और टाइपिंग की गलतियों तक को शामिल किया जाता है। सर्किट ब्रेकर लैब्स रोजाना दसियों हजार से लेकर सैकड़ों हजार तक सिमुलेटेड संवाद चलाकर मॉडल्स की प्रतिक्रिया की जांच करता है।\n\nइस पूरी प्रक्रिया का उद्देश्य यह सुनिश्चित करना है कि समय के साथ चलने वाली लंबी बातचीत में अगर कोई जोखिम पैदा हो, तो मॉडल उसे तुरंत पहचानकर सही तरीके से जवाब दे सके। इसके लिए एक खास ऑडिट योग्य और पारदर्शी स्कोरिंग प्रणाली का उपयोग किया जाता है। फिलहाल यह स्टार्टअप कोचिंग, जर्नलिंग और मानसिक स्वास्थ्य सहायता से जुड़े संवेदनशील एआई टूल्स की सुरक्षा जांच पर ध्यान दे रहा है। निगम भाई-बहन समेत पांच कर्मचारियों के साथ काम कर रही यह कंपनी आने वाले समय में कार्यस्थल पर इस्तेमाल होने वाले एआई सहयोगियों और अन्य पैरासोशल एआई अनुप्रयोगों की सुरक्षा जांच के लिए भी अपने मंच का विस्तार करने की योजना बना रही है।\n\nइसका आप पर असर\nएआई चैटबॉट्स के साथ बातचीत करने वाले बच्चों और आम उपभोक्ताओं के मानसिक स्वास्थ्य की सुरक्षा में यह तकनीक बड़ा बदलाव ला सकती है।\n\n• उपयोगकर्ताओं के लिए: मानसिक स्वास्थ्य और कोचिंग ऐप्स में अब यूजर्स की संवेदनशील बातों को गलत तरीके से समझने की आशंका कम होगी। इससे तनाव या परेशानी के समय लोगों को गलत या भ्रामक सलाह मिलने का जोखिम घटेगा।\n• अभिभावकों के लिए: बच्चों के चैटबॉट्स से जुड़ने पर उनके अनुचित भावनात्मक लगाव या खतरनाक विचारों के शिकार होने की चिंताएं कम होंगी। सुरक्षा उपायों के मजबूत होने से परिवारों में इन आधुनिक टूल्स के इस्तेमाल को लेकर विश्वास बढ़ेगा।\n• ऐप डेवलपर्स के लिए: कंपनियों को अपने सॉफ्टवेयर में छुपी सुरक्षा खामियों को आम जनता के सामने आने से पहले ही पकड़ने का मौका मिलेगा। इससे कानूनी मुकदमों और सिस्टम की विफलता से जुड़े भारी जोखिम को कम किया जा सकेगा।\n• डिजिटल सुरक्षा के लिए: आम बोलचाल, स्लैंग और टाइपिंग की गलतियों को समझने के लिए मॉडल्स को लगातार परखा जाएगा। इससे भविष्य में तकनीक पर आम जनता का भरोसा मजबूत हो सकेगा।\n\nऐसा क्यों हुआ\nकई किशोरों द्वारा चैटबॉट्स के साथ बातचीत के बाद जान गंवाने और तकनीकी कंपनियों पर दर्ज मुकदमों के चलते यह सुरक्षा व्यवस्था शुरू की गई।\n\n• सीधे कारण: नाबालिग उपयोगकर्ताओं के साथ हुई दुखद घटनाओं और कंपनियों पर हुए मुकदमों ने यह साबित कर दिया कि मौजूदा चैटबॉट्स गंभीर भावनात्मक संकटों को ठीक से नहीं पहचान पा रहे हैं। सेवेल सेत्जर जैसे मामलों में बॉट्स ने आत्मघाती विचारों को हतोत्साहित करने के बजाय उन्हें बढ़ावा दिया था।\n• सिस्टम की तकनीकी सीमाएं: आधुनिक एआई मॉडल्स औपचारिक भाषा में दक्ष होते हैं लेकिन वे वास्तविक इंसानी बोलचाल, स्लैंग और सूक्ष्म इशारों को पकड़ने में चूक जाते हैं। इस संदर्भ भ्रम के कारण सिस्टम अनजाने में खतरनाक और नुकसानदेह कदम उठा लेता है।\n• निवारक उपायों की आवश्यकता: केवल सामान्य सुरक्षा नियमों पर भरोसा करने के बजाय मॉडल्स की हर उम्र और संस्कृति के अनुरूप व्यापक जांच करना अनिवार्य हो गया था। इसी जरूरत को पूरा करने के लिए सिम्युलेटेड एजेंट्स का उपयोग करके खामियां पकड़ी जा रही हैं।\n\nसवाल-जवाब\n\n1. सर्किट ब्रेकर लैब्स क्या काम करती है?\nयह स्टार्टअप कृत्रिम सुरक्षा एजेंट्स की मदद से एआई मॉडल्स की जांच करता है ताकि यह सुनिश्चित हो सके कि चैटबॉट्स इंसानी बातचीत के दौरान किसी को मानसिक नुकसान न पहुंचाएं।\n\n2. इस स्टार्टअप के संस्थापक कौन हैं?\nइसकी स्थापना शिराली निगम और उनके भाई अरुल निगम ने मिलकर की है, जो कंपनी में क्रमशः सीईओ और सीटीओ की जिम्मेदारी संभाल रहे हैं।\n\n3. संस्थापकों को यह कंपनी शुरू करने की प्रेरणा कहां से मिली?\nचौदह साल के सेवेल सेत्जर की चैटबॉट से बातचीत के बाद हुई दुखद मृत्यु और अन्य मुकदमों ने संस्थापकों को एआई सुरक्षा पर काम करने के लिए प्रेरित किया।\n\n4. क्रैश टेस्ट एजेंट्स मॉडल्स की जांच कैसे करते हैं?\nये एजेंट्स अलग-अलग उम्र, पृष्ठभूमि और बोलचाल के स्लैंग की नकल करके रोजाना हजारों सिमुलेटेड संवादों के जरिए सिस्टम की कमजोरियों को उजागर करते हैं।\n\n5. वर्तमान में सर्किट ब्रेकर लैब्स किन क्षेत्रों पर ध्यान दे रही है?\nयह अभी कोचिंग, जर्नलिंग और मानसिक स्वास्थ्य से जुड़ी एआई सेवाओं की सुरक्षा जांच कर रही है।",
  "url": "https://trendkia.com/startups/chaitabotsa-ke-manasika-khataron-se-bachchon-ko-bachane-ke-lie-nae-sephti-ejentsa-taiyara-42060",
  "category": "स्टार्टअप्स",
  "publishedAt": "2026-10-02",
  "tags": [
    "आर्टिफिशियल इंटेलिजेंस",
    "सर्किट ब्रेकर लैब्स",
    "चैटबॉट सुरक्षा",
    "मानसिक स्वास्थ्य",
    "टेक स्टार्टअप्स",
    "ओपनएआई"
  ],
  "language": "hi",
  "site": "TrendKia"
}