{
  "type": "article",
  "title": "हज़ारों लोगों को 'खतरे' का स्कोर देने वाली पुलिस मशीन, जिसके नतीजों पर खुद अफसरों का भरोसा टूट गया",
  "summary": "इंग्लैंड के एक इलाके में पुलिस और काउंसिल ने मिलकर हज़ारों बड़ों और बच्चों को 'खतरे' का स्कोर देने वाला एक विशाल भविष्यवाणी सिस्टम बनाया, लेकिन दस्तावेज़ बताते हैं कि कम से कम दो मॉडल इसलिए चुपचाप बंद कर दिए गए क्योंकि स्टाफ को उनके नतीजों पर भरोसा नहीं रहा।",
  "content": "इंग्लैंड के दक्षिण-पश्चिमी हिस्से में पुलिस और स्थानीय प्रशासन ने करीब एक दशक तक चुपचाप एक असाधारण चीज़ खड़ी की, एक विशाल भविष्यवाणी मशीन, जो हज़ारों बड़ों और बच्चों को इस आधार पर 'खतरे' का स्कोर देती थी कि वे किसी के लिए कितना ख़तरा हैं या उन पर खुद कितना ख़तरा है। बरसों बाद भी, जिन लोगों की ज़िंदगी इस सिस्टम ने छुई, उनमें से कई आज तक यह नहीं जान पाए कि मशीन ने उनके बारे में क्या तय किया। और कम से कम दो मामलों में तो जिन कर्मचारियों को इन स्कोर के भरोसे काम करना था, उन्होंने ही मान लिया कि इन पर यकीन नहीं किया जा सकता।\n\nयह कहानी 2016 में शुरू होती है, जब ब्रिस्टल सिटी काउंसिल और इलाके की एवन एंड समरसेट पुलिस ने मिलकर एक डेटाबेस बनाया। इसमें हर तरह की बेहद निजी जानकारी जमा की गई, पुलिस की खुफिया रिपोर्ट, लोगों के आवास की स्थिति, मानसिक स्वास्थ्य के रिकॉर्ड, किशोरावस्था में गर्भधारण, पैरेंटिंग कोर्स में दाखिला और मुफ्त स्कूल भोजन तक का ब्योरा। इसी संवेदनशील डेटा के ऊपर अफसरों ने मशीन-लर्निंग मॉडल बनाए, जो हज़ारों लोगों को स्कोर देते थे। उनका मकसद था इलाके में 'ख़तरे, नुकसान और जोखिम की तस्वीर' तैयार करना।\n\nएक 'बाल्टी' में डाल दिया गया सबसे निजी डेटा\n2022 की शुरुआत में बाल शोषण से जुड़े अपराधों पर अफसरों की मदद के लिए हुए एक कार्यक्रम में एक पुलिस डेटा साइंटिस्ट ने इस तरीके का हिस्सा कुछ यूं बताया: \"मैं असल में वह सारा डेटा एक बड़ी बाल्टी में उड़ेल देता हूं और उसे डेटा-साइंस के चम्मच से हिलाता हूं, और हर किसी के लिए एक बढ़िया रिस्क स्कोर निकलकर सामने आ जाता है।\"\n\nथिंक फैमिली डेटाबेस के अंदर चलने वाली यह रिस्क स्कोरिंग एवन एंड समरसेट पुलिस के बड़े प्रेडिक्टिव एनालिटिक्स कार्यक्रम का सिर्फ एक हिस्सा थी। इस पुलिस ने कम से कम 23 अलग-अलग मॉडल तैयार किए, जिनमें ऐसे एल्गोरिदम भी थे जो यह आंकते थे कि कौन चोरी करेगा, कौन अदालत में पेश नहीं होगा, कौन लापता हो सकता है या कौन घरेलू हिंसा का शिकार बन सकता है। एक वरिष्ठ अधिकारी ने इलाके के सबसे खतरनाक अपराधियों की एक 'लीग टेबल' बनाने की बात कही थी, जो साफ तौर पर ऑफेंडर मैनेजमेंट ऐप की ओर इशारा था। यह ऐप इलाके के करीब 3,00,000 लोगों का डेटा रखने के लिए बनाया गया था।\n\nजॉन पेग्राम: जिसे पता ही नहीं था कि वह 'लिस्ट' में है\nपुलिस ने अपने ये भविष्यवाणी करने वाले औज़ार कैसे बनाए और इस्तेमाल किए, यह जनता के सामने हमेशा साफ नहीं रहा। ब्रिस्टल में पुलिस की जवाबदेही पर काम करने वाले एक स्थानीय समूह के मुखिया जॉन पेग्राम कहते हैं कि उन्हें ऑफेंडर मैनेजमेंट ऐप के बारे में 2023 तक पता ही नहीं चला, जबकि यह उससे कई साल पहले बन चुका था। जब उन्हें इसकी भनक लगी, तो उन्हें शक हुआ कि शायद वे भी इसमें शामिल हैं। पेग्राम कहते हैं, \"मुझे लगता है मुझे पता था कि मैं उस ऐप पर हूं।\"\n\n2024 की शुरुआत में पेग्राम ने यह जानने के लिए अर्ज़ी दी कि पुलिस उनके डेटा का इस्तेमाल कैसे कर रही है। पुलिस ने बताने से इनकार कर दिया। कुछ महीने बाद, जब पेग्राम ने अपने मामले के लिए वकील रख लिए, तब पुलिस ने माना कि वे ऐप पर हैं, लेकिन इससे आगे कुछ बताने से मना कर दिया। ब्रिस्टल, पूरे ब्रिटेन और तेज़ी से दुनिया भर के बाकी लोगों की तरह पेग्राम को भी नहीं पता था कि किसी एल्गोरिदम ने उन्हें स्कोर दिया है या नहीं, वह स्कोर क्या हो सकता है, और यह पुलिस के साथ उनके बर्ताव को कैसे प्रभावित कर सकता है।\n\nदस्तावेज़ क्या उजागर करते हैं\nसार्वजनिक रिकॉर्ड की अर्ज़ियों के ज़रिए हासिल किए गए सैकड़ों पन्नों के दस्तावेज़ों से एवन एंड समरसेट के इस इलाकाई प्रयोग की अब तक की सबसे विस्तृत तस्वीर बनती है। (पेग्राम की कानूनी लड़ाई को एक नागरिक अधिकार संगठन, लिबर्टी, समर्थन दे रहा है, जो इस कार्यक्रम के खिलाफ संभावित कानूनी चुनौती से शुरुआती दौर में जुड़ा रहा था।)\n\nइन दस्तावेज़ों से पता चलता है कि इनमें से कम से कम दो रिस्क-स्कोरिंग मॉडल चुपचाप बंद कर दिए गए, क्योंकि ब्रिस्टल सिटी काउंसिल के स्टाफ ने मान लिया था कि अब उन पर भरोसा नहीं किया जा सकता। पहले कभी सामने न आए दस्तावेज़ बताते हैं कि सरकारी निरीक्षक और स्वतंत्र समीक्षक कार्यक्रम के कुछ हिस्सों में पारदर्शिता की हैरान करने वाली कमी की ओर इशारा कर रहे थे और चेतावनी दे रहे थे कि ये सिस्टम जनता के भरोसे को चोट पहुंचा सकते हैं। 36,000 से ज़्यादा मॉडल परफॉरमेंस स्कोर के रूप में सामने आए पुलिस के डेटा की समीक्षा करने वाले एक स्वतंत्र विश्लेषक के मुताबिक, कई मामलों में यह डेटा 'सचमुच कमज़ोर भविष्यवाणी क्षमता' दिखाता है।\n\nये नतीजे ऐसे वक्त सामने आ रहे हैं जब ब्रिटेन पूरी आपराधिक न्याय व्यवस्था में प्रेडिक्टिव एनालिटिक्स और आर्टिफिशियल इंटेलिजेंस को अपनाने की ओर बढ़ता दिख रहा है। इस मुहिम की अगुवाई में एक जाना-पहचाना चेहरा है, एवन एंड समरसेट के पूर्व मुख्य कांस्टेबल एंडी मार्श, जो अब इंग्लैंड और वेल्स की पुलिस के लिए राष्ट्रीय मानक तय करने वाली संस्था के मुखिया हैं। कॉलेज ऑफ पोलिसिंग के CEO के तौर पर मार्श कह चुके हैं कि ब्रिटिश पुलिस के काम की रफ्तार बढ़ाने के लिए असरदार AI को 'हेरोइन की तरह इंजेक्ट' किया जाना चाहिए। एक हालिया बातचीत में मार्श ने बताया कि उनका संगठन इस वक्त इस्तेमाल हो रहे करीब 100 AI औज़ारों की जांच कर रहा है, जिनमें प्रेडिक्टिव पुलिसिंग के औज़ार भी शामिल हैं। \"हमारा काम है उन औज़ारों को परखना जो सही काम करते हैं, उन्हें कड़ी जांच से गुज़ारना, और फिर उन्हें पुलिसिंग में आग की तरह फैला देना।\"\n\nकैसे शुरू हुआ यह पूरा प्रयोग\nदो साल पहले पुलिस के पूर्व चीफ सुपरिंटेंडेंट गैरी डेविस ब्रिस्टल सिटी काउंसिल में एक भूमिका में आ चुके थे, और वे भी कुछ ऐसा ही सोच रहे थे। डेविस काउंसिल में बच्चों और परिवारों की मदद करने वाली एक टीम की अगुवाई करते थे। जब कोई परिवार संकट में होता, तो डेविस के मुताबिक \"यह बिल्कुल साफ दिखता था।\" मुश्किल उन लोगों को पहचानने में थी जो अभी ढलान की शुरुआत पर थे।\n\nडेविस का मानना था कि जवाब डेटा में छिपा है। हो सकता है किसी बच्चे के स्कूल के पास उसकी बढ़ती गैरहाज़िरी का रिकॉर्ड हो, जबकि पुलिस को पता हो कि उसी बच्चे ने हाल ही में पहली बार घरेलू हिंसा देखी है। अलग-अलग ये बातें शायद सामाजिक सेवाओं के दखल के लिए काफी न हों। लेकिन एक साथ? डेविस कहते हैं, \"अगर आप पूरी तस्वीर देख पाएं, तो समझ आ जाएगा कि बच्चा जिस राह पर है वह गलत दिशा में जा रही है।\"\n\n2015 में ब्रिस्टल सिटी काउंसिल और एवन एंड समरसेट पुलिस के कुछ कर्मचारी मिलकर इस समस्या का हल निकालने के लिए शहर के एक पुलिस स्टेशन में आ बैठे। डेविस की अगुवाई वाली इनसाइट ब्रिस्टल टीम ने पूरे सरकारी तंत्र से डेटा जुटाना शुरू किया, ताकि ज़मीन पर काम करने वालों को बच्चों और परिवारों के बारे में हर ज़रूरी जानकारी मिल सके।\n\nसहमति का सवाल\nइनसाइट ब्रिस्टल टीम ने थिंक फैमिली डेटाबेस में लोगों का डेटा इस्तेमाल करने के लिए उनकी सहमति नहीं ली। डेविस बताते हैं कि इसके बजाय टीम 'कानूनी रास्तों' पर टिकी रही, यानी ऐसे हालात जहां बच्चों की सुरक्षा जैसी कानूनी ज़िम्मेदारी निभाने के लिए डेटा साझा करना ज़रूरी माना जाता है। \"अगर आप यह दिखाएं कि लोगों की सहमति ली गई है, तो यह एक झूठा भ्रम पैदा करता है, क्योंकि असल में स्थानीय प्रशासन या पुलिस या जो भी हो, हमें वे रिकॉर्ड रखने ही पड़ते हैं।\" शुरू में निवासी इस डेटाबेस से बाहर नहीं निकल सकते थे; बाद में काउंसिल ने अपने टैक्स के पत्रों में बाहर निकलने का विकल्प जोड़ दिया।\n\nहाल ही में रिटायर हुए डेविस मानते हैं कि इस परियोजना ने बच्चों की रक्षा में मदद की। \"इसने बच्चों और परिवारों के लिए जोखिम और कमज़ोरी की समझ को बेहतर बनाया,\" वे कहते हैं। \"इसने वह जानकारी कहीं ज़्यादा कारगर तरीके से मुहैया कराई।\" जब इसे जनता तक पहुंचाने की बात आई, तो डेविस के मुताबिक \"लोगों के समूहों में किसी तरह का उत्साह या दिलचस्पी जगाना काफी मुश्किल था।\" जो लोग जुड़े, उन्होंने निजी डेटा के इस्तेमाल की ज़रूरत समझी, उनकी बात का सार डेविस यूं बताते हैं: \"हमें ऐतराज़ नहीं कि आप इसका इस्तेमाल हमारी मदद के लिए करें, लेकिन हम नहीं चाहते कि आप इसे हमारे खिलाफ इस्तेमाल करें।\"\n\nनैतिक चेतावनियां जो शुरू से उठती रहीं\nजब इनसाइट ब्रिस्टल टीम थिंक फैमिली डेटाबेस बनाने में जुटी थी, उसी दौरान एवन एंड समरसेट पुलिस ने प्रेडिक्टिव एनालिटिक्स की संभावनाएं तलाशनी शुरू कर दी थीं। मार्च 2016 में पुलिस की नैतिकता समिति यह तय करने के लिए मिली कि यह काम कैसे आगे बढ़े। सदस्यों ने सलाह दी कि \"इस पर ध्यान से सोचना होगा कि कौन सा डेटा इस्तेमाल हो\" और \"इस प्रक्रिया में किन चरों का इस्तेमाल हो।\" नतीजा यह निकला: \"इस सिस्टम का इस्तेमाल कुछ सावधानी से करना होगा और यह पक्का करना होगा कि इसमें कोई पूर्वाग्रह न हो।\" समिति ने यह भी कहा कि अगर पुलिस का यह काम आगे बढ़ता है, तो \"जनता को बताना ही होगा कि आप ऐसी प्रक्रियाएं क्यों और कैसे चला रहे हैं।\"\n\nथिंक फैमिली डेटाबेस तैयार होने के बाद एक पुलिस डेटा साइंटिस्ट ने इस परियोजना के लिए भविष्यवाणी करने वाले रिस्क मॉडल बनाने की अगुवाई की। इनमें से एक मॉडल का मकसद यौन शोषण के खतरे में पड़े बच्चों को पहचानना था। CSE के नाम से जाना जाने वाला यह मॉडल पुलिस, काउंसिल और दूसरी सरकारी एजेंसियों के पास मौजूद कई तरह के डेटा पर आधारित था। बाल संरक्षण से जुड़ी संस्था बर्नार्डोज ने 1,000 ऐसे बच्चों का गुमनाम डेटा दिया जिनके साथ यौन शोषण होना जाना-माना था। मॉडल को ऐसे बच्चों को पहचानने के लिए बनाया गया था जिनकी विशेषताएं इनसे मिलती-जुलती हों। यह सिस्टम बच्चों के सामाजिक संबंधों का विश्लेषण करता था ताकि देखा जा सके कि वे किसी ऐसे शख्स से जुड़े हैं या नहीं जो शोषण का शिकार बनने या उसे अंजाम देने के लिहाज़ से कमज़ोर माना गया हो। दस्तावेज़ों के मुताबिक, किसी बच्चे को 'ज़रूरतमंद' बताया जाना, उसका स्कूल से 'लगातार' गैरहाज़िर रहना या उसकी मानसिक सेहत की चिंताएं, इन सबसे CSE मॉडल का स्कोर बढ़ जाता था।\n\n'गरीबी का स्थानापन्न' बनते आंकड़े\nपुलिस का इतने व्यापक डेटा का सहारा लेना शुरू से ही चिंताएं पैदा कर रहा था। 2018 में कार्डिफ यूनिवर्सिटी की डेटा जस्टिस लैब के शोधकर्ताओं ने ब्रिस्टल के इस काम समेत ब्रिटेन के कई नागरिक-स्कोरिंग कार्यक्रमों की समीक्षा करते हुए कहा, \"इस्तेमाल हो रहे चर असल में गरीबी के स्थानापन्न बन सकते हैं।\" डेविस याद करते हैं कि सबसे ऊंचे रिस्क स्कोर वाले ज़्यादातर बच्चे पहले से ही अधिकारियों की नज़र में थे। \"वे पहले से ही जटिल बच्चे थे, जिन पर सामाजिक कार्यकर्ता और परिवार कार्यकर्ता काम कर रहे थे,\" वे कहते हैं। \"ज़्यादातर नतीजे वही बता रहे थे जो आप पहले से जानते थे।\"\n\nफिर भी प्रेडिक्टिव एनालिटिक्स को लेकर पुलिस का उत्साह कम नहीं हुआ। पुलिस के एक बिज़नेस इंटेलिजेंस मैनेजर ने 2018 में कहा, \"हम आज ऐसे फैसले लेना चाहते हैं जो अपराध को होने से पहले ही रोक दें।\" बच्चों के आपराधिक शोषण की भविष्यवाणी करने वाला एक मॉडल, जिसे ब्रिस्टल सिटी काउंसिल के मुताबिक 2019 में लाया गया, फिर से कई सरकारी एजेंसियों के डेटा पर टिका था, जिसमें यह भी शामिल था कि कोई परिवार आवास सहायता पा रहा है या किराए के बकाये में फंसा है, और बच्चे को मुफ्त स्कूल भोजन मिल रहा है या नहीं। उसी साल मुख्य कांस्टेबल एंडी मार्श ने ऐलान किया: \"12 महीनों में एवन एंड समरसेट कांस्टेबुलरी का हर हिस्सा प्रेडिक्टिव एनालिटिक्स और विज़ुअलाइज़ेशन से चलेगा।\"\n\nपर्दे के पीछे एक 'अव्यवस्थित' सिस्टम\nलेकिन पर्दे के पीछे पुलिस का यह काम काफी 'अव्यवस्थित' लग रहा था। रॉयल हॉलोवे यूनिवर्सिटी ऑफ लंदन की शोधकर्ता एल पियर्सन, जो इन कार्यक्रमों पर अपनी पीएचडी पूरी कर रही हैं, कहती हैं, \"जब मैंने शुरुआत की, तो कोई मुझे यह नहीं बता सका कि उनके पास कौन सा डेटा है, वह कहां से आया, या कौन सा सिस्टम कौन सा डेटा इस्तेमाल कर रहा है।\" पियर्सन पुलिस और स्थानीय काउंसिलों के एक दर्जन से ज़्यादा कर्मचारियों से बात कर चुकी हैं।\n\nसमय के साथ पियर्सन ने एक 'फंक्शन क्रीप' देखा, जहां सिस्टम और फैलते गए, और ज़्यादा डेटा को जोड़ते गए, और अपने मूल मकसद से आगे बढ़ते गए। पियर्सन कहती हैं कि भले ही 'ईमानदार' टीमें डेटा एनालिटिक्स के विकास की देखरेख कर रही थीं, पारदर्शिता बहुत कम थी। \"कुछ मामलों में तो हो सकता है कि सिर्फ एक ही इंसान ये रिस्क मॉडल बना रहा हो, जो संभवतः लाखों लोगों को प्रभावित करने वाले फैसले कर रहे हैं।\"\n\n2021 तक, इनसाइट ब्रिस्टल की एक सरकारी समीक्षा के मुताबिक, अब भंग हो चुके सेंटर फॉर डेटा एथिक्स एंड इनोवेशन के अधिकारी इस परियोजना से जुड़े 'नैतिक तनाव' के बारे में सुन रहे थे। समीक्षकों ने कहा कि रिस्क स्कोर में \"भारी मात्रा में संवेदनशील डेटा\" गया था, और यह स्थानीय लोगों के साथ भरोसा बनाकर नहीं, बल्कि 'कानूनी रास्तों' के ज़रिए जुटाया गया था। उन्होंने कहा, \"कानूनी होना और वैध होना एक ही बात नहीं है।\"\n\nस्वतंत्र समीक्षा: 'सबसे कमज़ोर हिस्सा'\nदो साल बाद गैर-लाभकारी संस्था सोशल फाइनेंस ने थिंक फैमिली डेटाबेस और इनसाइट ब्रिस्टल के डेटा कामकाज की स्वतंत्र समीक्षा की। 100 से ज़्यादा पन्नों की यह समीक्षा, जो लगता है रिकॉर्ड की अर्ज़ी के बाद ही सार्वजनिक हुई, ब्रिस्टल सिटी काउंसिल और पास की समरसेट काउंसिल ने कराई थी, जो खुद एक ऐसा ही सिस्टम बनाने की योजना बना रही थी। समीक्षा में पाया गया कि थिंक फैमिली डेटाबेस और उसके विज़ुअलाइज़ेशन बाल संरक्षण के स्टाफ के लिए उपयोगी रहे और 'ज़्यादा समय पर प्रतिक्रिया' की राह बना सकते थे।\n\nलेकिन इसमें रिस्क-स्कोरिंग मॉडलों को परियोजना का 'सबसे कमज़ोर हिस्सा' बताया गया, यह कहते हुए कि 'सटीकता की कमी' ने इनके उपयोगी होने की संभावना को कमज़ोर कर दिया। काउंसिल स्टाफ ने यौन शोषण (CSE) और आपराधिक शोषण (CCE) का खतरा आंकने वाले मॉडलों पर शक जताया था। समीक्षा लगभग उसी वक्त पूरी हुई जब काउंसिल ने इन मॉडलों का इस्तेमाल बंद किया, जिन्हें स्टाफ ने हाल ही में 'संचालन के लायक नहीं' बताया था।\n\nइनसाइट ब्रिस्टल टीम के पूर्व मुखिया गैरी डेविस के मुताबिक, पहले जहां CSE और CCE मॉडल ज़्यादातर वही बता रहे थे जो स्टाफ पहले से जानता था, वहीं अब उन्हीं सामाजिक कार्यकर्ताओं ने सोशल फाइनेंस के समीक्षकों को बताया कि उन्हें ये एल्गोरिदम बढ़ते-बढ़ते 'गलत' लगने लगे थे। CSE मॉडल के बारे में एक ईमेल में एक कर्मचारी ने लिखा था: \"ऐसे लोग जो पिछले महीने यौन अपराधों के शिकार हुए हैं, उनका स्कोर उन लोगों से नीचे आ रहा है जिन्होंने चोरियां की हैं।\"\n\nक्यों अचानक गिर गई गुणवत्ता\nसोशल फाइनेंस की समीक्षा के मुताबिक, गुणवत्ता की इस अचानक गिरावट की एक वजह थी: पुलिस ने ब्रिस्टल सिटी काउंसिल का डेटा इस्तेमाल करना बंद कर दिया था। समीक्षा बताती है कि अधिकारी उसी एल्गोरिदमिक तरीके से 'पूरी एवन एंड समरसेट पुलिस सीमा के बच्चों की प्रोफाइलिंग' करना चाहते थे, जिसमें पांच अलग-अलग काउंसिलें आती थीं। पुलिस ने दूसरे स्थानीय प्रशासनों के साथ डेटा साझा करने के समझौते करने की कोशिश की, लेकिन वे प्रयास अटक गए, यानी एल्गोरिदम विकसित करने के लिए उसके पास सिर्फ अपना ही डेटा बचा। इसमें अपराध करने वाले और अपराध के शिकार तो शामिल थे, लेकिन वे तमाम संवेदनशील सामाजिक पहलू नहीं जिन पर मॉडल पहले टिका था।\n\nइस बदलाव के बाद ब्रिस्टल सिटी काउंसिल के स्टाफ ने कहा कि जिन बच्चों को कमज़ोर के तौर पर पहचाना जाना चाहिए था, वे नतीजों में 'सूचीबद्ध ही नहीं थे।' एक कर्मचारी ने सोशल फाइनेंस को बताया, \"निजी तौर पर, मुझे इसके सहारे काम करने में असहज लगता है, क्योंकि यह साफ नहीं कि ये आंकड़े कहां से आते हैं और इसे कैसे बनाया गया।\"\n\nएक और ने कहा, \"मैं किसी बैठक में यह कहते हुए नहीं जाऊंगा कि मैंने यह TFD पर देखा है, क्योंकि मुझे यकीन नहीं होगा कि वह इतना सटीक है।\" एक ने समीक्षकों को बताया, \"हम जानते हैं कि कुछ युवा लड़कियां आपराधिक शोषण की शिकार होती हैं, लेकिन वे सामने नहीं आतीं, हम उनके बारे में बात नहीं करते क्योंकि वे ढांचे में फिट नहीं बैठतीं।\" एक और ने जोड़ा, \"मैं पहले 30 नामों की सूची को व्यवस्थित ढंग से खंगालने, लोगों को ईमेल करने और सारे ब्योरे जांचने में काफी समय लगाता था, लेकिन इसमें मेरा इतना वक्त लग जाता था कि मैंने वह करना ही लगभग बंद कर दिया।\"\n\nगायब रिकॉर्ड और जवाबदेही की कमी\nजब सोशल फाइनेंस के समीक्षक रिस्क-स्कोरिंग मॉडलों की खुद जांच करना चाहते थे, तो उन्हें जानकारी की चौंका देने वाली कमी मिली। रिपोर्ट कहती है, \"यह बताने वाला सोर्स कोड और चर कि ये मॉडल कैसे बनाए गए, मिल ही नहीं सके, जिसने हमें मूल्यांकन का यह हिस्सा पूरा करने से रोक दिया।\" इसी तरह, काउंसिल और पुलिस को भेजी गई रिकॉर्ड की अर्ज़ियों के जवाब बताते हैं कि जून 2023 तक CSE और CCE मॉडलों को बंद करने के फैसले का कोई रिकॉर्ड किसी भी अथॉरिटी ने नहीं रखा।\n\nयूनिवर्सिटी ऑफ वारविक में सोशल इन्फॉर्मेटिक्स के प्रोफेसर रॉब प्रॉक्टर ने इस समीक्षा में विशेषज्ञ सलाहकार की भूमिका निभाई। वे कहते हैं, \"मॉडल बनाने की प्रक्रिया को कहीं भी पर्याप्त ब्योरे के साथ दर्ज नहीं किया गया था।\" उनके लिए ब्रिस्टल का यह काम इस बात की मिसाल है कि जब भी ऐसे तरीके पर विचार हो, तो पारदर्शिता और सार्वजनिक बहस कितनी ज़रूरी है। \"यह सचमुच यह सवाल खड़ा करता है कि ऐसे औज़ार बनाने और तैनात करने के फैसले में जनता को कैसे शामिल किया जाए, और लोगों की इस जायज़ चिंता का जवाब कैसे दिया जाए कि इससे लोग गलत तरीके से निशाना बन सकते हैं,\" वे कहते हैं। \"आपको यह सोचना होगा कि एक भी गलत नतीजे का किसी परिवार पर क्या असर पड़ता है, अगर किसी बच्चे को आपराधिक या यौन शोषण के खतरे में बता दिया जाए।\"\n\nदूसरे जानकार भी ऐसी ही चिंताएं जताते हैं। यूनिवर्सिटी ऑफ ब्रिस्टल में बाल एवं परिवार कल्याण की प्रोफेसर डेबी वॉटसन 2022 से थिंक फैमिली परियोजना पर शोध कर रही एक टीम की अगुवाई कर रही हैं। वॉटसन कहती हैं कि उन्हें रिस्क-स्कोरिंग मॉडलों से हुए संभावित 'ऐतिहासिक नुकसान' की चिंता है। \"भले ही वे अब इस्तेमाल में न हों, लेकिन उनका इस्तेमाल इतना अहम रहा लगता है कि उसने शहर के कुछ युवाओं को गंभीर रूप से प्रभावित किया।\"\n\nब्रिस्टल सिटी काउंसिल ने भविष्यवाणी करने वाले रिस्क-स्कोरिंग सिस्टम के इस्तेमाल पर बातचीत के अनुरोध ठुकरा दिए और भेजे गए विस्तृत सवालों का जवाब नहीं दिया। चिल्ड्रन एंड यंग पीपल पॉलिसी कमेटी की अध्यक्ष पार्षद क्रिस्टीन टाउनसेंड ने एक लिखित बयान में कहा, \"यह प्रशासन उन बच्चों को पहचानने में मदद के अलावा किसी प्रेडिक्टिव एनालिटिक्स का इस्तेमाल नहीं करता, जिनके स्कूल खत्म करने के बाद शिक्षा, रोज़गार या प्रशिक्षण से बाहर हो जाने (NEET) का खतरा है। एनालिटिक्स के इस्तेमाल ने कभी पेशेवर मानवीय निर्णय या फैसले की जगह नहीं ली।\"\n\nडेविस कहते हैं कि कोई भी असर बहुत कम रहा होगा, क्योंकि उनके स्टाफ ने इन रिस्क स्कोर पर कभी भरोसा नहीं किया। \"वे इन्हें अपने निर्णयों के सहारे के तौर पर सचमुच इस्तेमाल नहीं कर रहे थे, क्योंकि वे इसे समझते नहीं थे और इसे अहमियत नहीं देते थे,\" वे कहते हैं। लेकिन इस बारे में किसी रिकॉर्ड का न होना कि रिस्क-स्कोरिंग मॉडल कैसे काम करते थे, या उन्हें ठीक-ठीक क्यों हटाया गया, इसे पक्के तौर पर जान पाना नामुमकिन बना देता है। जो भी प्रभावित हुआ, उसे शायद कभी इसकी वजह पता नहीं चलेगी। जैसा एक काउंसिल कर्मचारी ने समीक्षकों से कहा, \"एक बात हमेशा मेरे दिमाग में रहती है, जिन लोगों की हम बात कर रहे हैं, क्या उन्हें पता है कि यह डेटा हमारे पास है?\"\n\nपेग्राम की कहानी और 'पूर्वाग्रह' का सवाल\nजब 2024 में जॉन पेग्राम को पुष्टि मिली कि वे ऑफेंडर मैनेजमेंट ऐप पर हैं, तो उन्हें याद है कि उनके मन में आया, \"मैं यहां पहले भी रहा हूं, और मुझे पता है कि तुम मेरे साथ क्या करने की कोशिश कर रहे हो।\"\n\nकिशोरावस्था में पेग्राम पुलिस की नज़र के आदी हो चुके थे। उन्हें याद है कि पुलिस ने उन्हें दर्जनों बार रोका, जिसे वे काफी हद तक सफेद आबादी वाले एक शहर में मिश्रित नस्ल का बच्चा होने से जोड़ते हैं। यह उन्हें कम साफ था कि वे आखिर इस ऐप में कैसे पहुंचे। ब्रिस्टल में 2017 के एक फासीवाद-विरोधी प्रदर्शन में उन्हें एक पुलिस अधिकारी के चेहरे पर मारने के आरोप में गिरफ्तार किया गया। हालांकि अधिकारी ने माना कि यह संयोगवश हुआ लगता है, फिर भी पेग्राम को हमले का दोषी ठहराया गया। सात साल बीत गए, लेकिन क्या उस घटना का मतलब यह था कि उन्हें अब भी संभावित अपराधी के तौर पर चिह्नित किया जा रहा था? उन्हें खुद या दूसरों के बारे में की जाने वाली किसी भविष्यवाणी की सटीकता पर ज़्यादा भरोसा नहीं था। \"पुलिस के डेटा में बहुत पूर्वाग्रह है,\" वे कहते हैं। \"इसे नैतिक और निष्पक्ष ढंग से करने के रास्ते में बहुत सारी समस्याएं हैं।\"\n\nएक स्वतंत्र ऑडिट का कड़ा फैसला\nरिकॉर्ड की अर्ज़ियों के जवाब में एवन एंड समरसेट पुलिस ने 2017 से 2024 के बीच इस्तेमाल हुए 13 रिस्क मॉडलों का परफॉरमेंस डेटा का एक बड़ा ज़खीरा दिया, जिनमें लापता लोगों, असामाजिक व्यवहार और इस बात की भविष्यवाणी करने वाले मॉडल शामिल थे कि किसके अपराध करने या उसका शिकार बनने की सबसे ज़्यादा आशंका है। यह डेटा, पुलिस के डेटा साइंस कार्यक्रम की दूसरी जानकारियों के साथ, स्वतंत्र AI ऑडिटिंग फर्म एटिकास को समीक्षा के लिए दिया गया। नतीजा बेहद सख्त रहा।\n\nसमीक्षा में पाया गया, \"इनमें से ज़्यादातर मॉडल कम 'प्रिसिज़न' स्कोर पैदा करते हैं, यानी जिन लोगों को वे जोखिम बताते हैं, उनमें से एक बड़ा हिस्सा गलत तरीके से पहचाना जाता है।\" पुलिस के डेटा के मुताबिक, चोरों की भविष्यवाणी में मदद करने वाला एक मॉडल तीन साल से ज़्यादा समय तक 10 प्रतिशत से भी कम प्रिसिज़न रेटिंग पर चलता दिखा। एटिकास के मुताबिक इसका मतलब था कि 'हाई रिस्क' बताए गए हर 10 में से एक से भी कम लोग असल में अपराध करते। दूसरी चिंताओं में अलग-अलग मॉडलों के परफॉरमेंस आंकड़ों का तेज़ी से ऊपर-नीचे होना शामिल था। ऑडिट ने कहा, \"यह संचालन में मौजूद, अच्छी तरह नियंत्रित मॉडलों जैसा नहीं है।\"\n\nएवन एंड समरसेट पुलिस के एक प्रवक्ता ने कहा कि पुलिस ने अपने बनाए कुछ मॉडलों को तैनात न करने का फैसला किया था, जिनमें चोरी वाला मॉडल भी शामिल था। जब पूछा गया कि जो मॉडल पुलिस ने इस्तेमाल ही नहीं किए, उनका सालों का ऑडिट और परफॉरमेंस डेटा क्यों मौजूद है, तो प्रवक्ता ने कहा कि ऑडिट प्रक्रिया 'स्वचालित' थी और एक 'स्टैटिक फाइल' से डेटा लेती थी, \"जिसे मॉडल तैनात न करने का फैसला होने पर मिटाया नहीं गया।\"\n\nपुलिस ने अपने डेटा साइंस काम पर बातचीत के अनुरोध ठुकरा दिए और सवालों की विस्तृत सूची का पूरा जवाब नहीं दिया। प्रवक्ता ने एक बयान में कहा, \"हर मॉडल को उसके प्रदर्शन के आधार पर स्कोर दिया जाता है, और जहां समस्याएं पाई जाती हैं, उन्हें अपडेट किया जाता है या बंद कर दिया जाता है,\" साथ ही यह भी जोड़ा कि तैनाती से पहले मॉडलों की समीक्षा एक पुलिस विषय विशेषज्ञ करता है।\n\nपूर्वाग्रह की अधूरी जांच\nयह साफ नहीं कि पुलिस ने अपनी ही नैतिकता समिति की उठाई चिंताओं से निपटने के लिए क्या कदम उठाए। रिकॉर्ड की अर्ज़ियों के खुलासों के मुताबिक, समिति 2017 के बाद प्रेडिक्टिव एनालिटिक्स पर दोबारा चर्चा करती नहीं दिखी। और जहां पुलिस अपनी वेबसाइट पर कहती है कि डेटा साइंस के तहत 'हर प्रोडक्ट और प्रोजेक्ट' की समीक्षा एक समर्पित नैतिकता समूह करता है, वहीं प्रवक्ता ने बताया कि \"अब तक कोई बैठक नहीं हुई है,\" क्योंकि \"ऐसा कोई मॉडल तैयार ही नहीं हुआ जिसमें संभावित नैतिक मुद्दे पहचाने गए हों।\"\n\nएक रिकॉर्ड अर्ज़ी के जवाब में पुलिस ने एक 'बायस चेक ऐप' का स्क्रीनशॉट दिया, जो सफेद और रंगभेद वाले समुदायों के लोगों के औसत रिस्क स्कोर पर नज़र रखता और उनकी तुलना करता दिखता था, और इस नतीजे पर पहुंचा था कि \"दोनों के बीच कोई बड़ा फर्क नहीं है।\" एटिकास की समीक्षा ने कहा, \"नस्ल को सिर्फ एक निगरानी चर के तौर पर शामिल कर लेना यह जांचने के बराबर नहीं है कि मॉडल भेदभावपूर्ण नतीजे देता है या नहीं,\" और नस्ल, लिंग तथा सामाजिक-आर्थिक स्थिति के आधार पर और गहरी जांच की गैरमौजूदगी को 'एक बड़ी चूक' बताया।\n\nआगे का रास्ता और बढ़ता AI\nक्या पुलिसिंग या समाज कल्याण में प्रेडिक्टिव एनालिटिक्स की कोई भूमिका है, इस पर डेविस कहते हैं कि अभी और काम की ज़रूरत है। \"जब हम यह कर रहे थे, हम इसे सही वजहों से, सही तरीके से करने की कोशिश कर रहे थे, लेकिन शायद हमारे पास उतनी क्षमता नहीं थी जितनी इसके लिए चाहिए थी।\" इस काम का एक हिस्सा यह देखना चाहिए कि रिस्क मॉडल कर्मचारियों को बिना किसी पूर्व-निर्धारित नतीजे की ओर धकेले कैसे जानकारी दे सकें। \"यह खतरा है कि स्टाफ कंप्यूटर की कही बात को देखकर अपना खुद का निर्णय इस्तेमाल करना ही छोड़ दे।\"\n\nइस इलाके में प्रेडिक्टिव एनालिटिक्स आज भी पुलिसिंग और सार्वजनिक सेवाओं में बड़ी भूमिका निभा रहा है। ब्रिस्टल सिटी काउंसिल अब भी इस आशंका को आंकने के लिए एक रिस्क-स्कोरिंग मॉडल का इस्तेमाल करती है कि कोई बच्चा शिक्षा, रोज़गार या प्रशिक्षण से बाहर हो सकता है। एवन एंड समरसेट पुलिस का ताज़ा ऑडिट डेटा, जो पिछले साल जुलाई में दिया गया, बताता है कि ऑफेंडर मैनेजमेंट ऐप में इस्तेमाल होने वाला मॉडल असल में अपराध करने वाले हर तीन में से सिर्फ एक की सही भविष्यवाणी करता है, जबकि संभावित अपराधी बताए गए हर चार में से एक व्यक्ति अपराध करता ही नहीं।\n\nपिछले साल एवन एंड समरसेट पुलिस ने पेग्राम को बताया कि भले ही ऑफेंडर मैनेजमेंट ऐप पर उनकी एक प्रोफाइल है, उन्हें कोई रिस्क स्कोर नहीं दिया गया, क्योंकि पिछले दो साल में उन्हें किसी अपराध से नहीं जोड़ा गया। उन्हें अब भी नहीं पता कि उनका और कौन सा डेटा रखा गया है या वह पुलिस के साथ उनके बर्ताव को कैसे प्रभावित कर सकता है। जुलाई 2025 में पेग्राम के वकीलों ने पुलिस को दोबारा पत्र लिखकर कानूनी चुनौती देने के उनके इरादे की सूचना दी। प्रवक्ता ने पेग्राम के मामले या कानूनी कार्यवाही पर कोई टिप्पणी करने से इनकार कर दिया, हालांकि उन्होंने कहा कि पुलिस अब अपने मॉडलों की समीक्षा के लिए 'एक स्वतंत्र पक्ष की तलाश' कर रही है।\n\nपेग्राम चाहते हैं कि उनका ब्योरा ऐप से हटा दिया जाए, लेकिन वे यह भी चाहते हैं कि एवन एंड समरसेट पुलिस पूरे कार्यक्रम को ही खत्म कर दे। \"यह सिर्फ मेरी बात नहीं है,\" वे कहते हैं। \"मुझे नहीं लगता कि किसी AI मॉडल के पास लोगों की ज़िंदगियों पर इस तरह की ताकत होनी चाहिए।\"\n\nलेकिन दिशा साफ दिखती है। ब्रिटेन सरकार ने अभी-अभी पुलिसएआई बनाई है, £75 मिलियन के समर्थन वाली एक संस्था, जो इंग्लैंड और वेल्स की 43 पुलिस फोर्सों तक तरह-तरह के AI औज़ार पहुंचाने में मदद करेगी। यह समूह कॉलेज ऑफ पोलिसिंग के तहत है, जिसकी अगुवाई एंडी मार्श कर रहे हैं। इसी महीने इस परियोजना की शुरुआत करते हुए ब्रिटेन की पुलिसिंग मंत्री सारा जोन्स ने कहा, \"यही पुलिसिंग का भविष्य है, और यह अभी हो रहा है।\"\n\nइसका आप पर असर\n• आम नागरिकों के लिए: यह कहानी दिखाती है कि कैसे आपकी सबसे निजी जानकारी (मानसिक स्वास्थ्य, आवास, स्कूल का ब्योरा) बिना सहमति के एक स्कोरिंग सिस्टम में डाली जा सकती है, और गलत 'रिस्क स्कोर' किसी निर्दोष को संदिग्ध बना सकता है।\n• ब्रिटेन में: इंग्लैंड और वेल्स की 43 पुलिस फोर्सों में AI औज़ारों का तेज़ी से विस्तार हो रहा है, इसलिए वहां के लोगों को यह जानने का हक रखना चाहिए कि उन्हें किसी एल्गोरिदम ने चिह्नित किया है या नहीं।\n\nसवाल-जवाब\n\n1. थिंक फैमिली डेटाबेस क्या है?\nयह ब्रिस्टल सिटी काउंसिल और एवन एंड समरसेट पुलिस का 2016 में बना एक डेटाबेस है, जिसमें पुलिस खुफिया रिपोर्ट से लेकर मानसिक स्वास्थ्य रिकॉर्ड तक संवेदनशील जानकारी जमा कर बड़ों और बच्चों को 'रिस्क स्कोर' दिया जाता था।\n\n2. कौन से मॉडल बंद किए गए और क्यों?\nबच्चों के यौन शोषण (CSE) और आपराधिक शोषण (CCE) का खतरा आंकने वाले कम से कम दो मॉडल चुपचाप बंद कर दिए गए, क्योंकि काउंसिल स्टाफ ने उन्हें 'गलत' और 'संचालन के लायक नहीं' पाया।\n\n3. जॉन पेग्राम कौन हैं?\nवे ब्रिस्टल में पुलिस जवाबदेही समूह के मुखिया हैं, जिन्हें 2024 में पता चला कि वे ऑफेंडर मैनेजमेंट ऐप पर हैं, लेकिन पुलिस ने यह नहीं बताया कि उनका डेटा कैसे इस्तेमाल हो रहा है।\n\n4. स्वतंत्र ऑडिट में क्या मिला?\nएटिकास की समीक्षा में पाया गया कि ज़्यादातर मॉडल कम प्रिसिज़न पर चलते हैं; चोरी की भविष्यवाणी वाला एक मॉडल तीन साल से ज़्यादा समय तक 10 प्रतिशत से कम सटीकता पर रहा, यानी 10 में से एक से भी कम चिह्नित लोग असल में अपराध करते।\n\n5. क्या अब भी ये सिस्टम इस्तेमाल हो रहे हैं?\nहां, ब्रिस्टल सिटी काउंसिल अब भी बच्चों के स्कूल/रोज़गार से बाहर होने (NEET) का खतरा आंकने के लिए एक मॉडल का इस्तेमाल करती है, और ऑफेंडर मैनेजमेंट ऐप अब भी चालू है।\n\n6. पुलिसएआई क्या है?\nयह ब्रिटेन सरकार की £75 मिलियन के समर्थन वाली एक नई संस्था है, जो इंग्लैंड और वेल्स की 43 पुलिस फोर्सों तक AI औज़ार पहुंचाएगी, और कॉलेज ऑफ पोलिसिंग के तहत आती है।",
  "url": "https://trendkia.com/security/hazaron-logon-ko-khatare-ka-skora-dene-vali-pulisa-mashina-jisake-natijon-para-khuda-aphasaron-ka-bharosa-tuta-gaya-2953",
  "category": "साइबर सुरक्षा",
  "publishedAt": "2026-06-25",
  "tags": [
    "प्रेडिक्टिव पुलिसिंग",
    "एवन एंड समरसेट पुलिस",
    "थिंक फैमिली डेटाबेस",
    "AI निगरानी",
    "ब्रिस्टल",
    "ऑफेंडर मैनेजमेंट ऐप",
    "एल्गोरिदम पूर्वाग्रह",
    "कॉलेज ऑफ पोलिसिंग"
  ],
  "language": "hi",
  "site": "TrendKia"
}