पुलिस के इस्तेमाल वाले फ्लॉक एआई सर्विलांस टूल पर उठे सवाल, बैकड्रॉप में बड़े पैमाने पर दुरुपयोग की आशंका

इसके अतिरिक्त स्मार्ट सॉर्ट नाम की सुविधा अधिकारियों को खोज परिणामों में मिलने वाली तस्वीरों पर वोट करने की अनुमति देती है। अधिकारी द्वारा कुछ तस्वीरों को स्वीकृत या अस्वीकृत करने पर सिस्टम रैंकिंग को फिर से व्यवस्थित कर देता है और स्वीकृत तस्वीरों से मिलती-जुलती फुटेज को सबसे ऊपर दिखा देता है। वाहनों की खोज के लिए सिस्टम में रंग, बॉडी टाइप, मेक, मॉडल, रूफ रैक और बम्पर स्टिकर जैसे कई फिल्टर दिए गए हैं। हालांकि, व्यक्तियों की खोज के लिए कोई स्ट्रक्चर्ड फिल्टर मौजूद नहीं है और यह केवल लिखित टेक्स्ट पर निर्भर करता है।

तकनीकी कोड की जांच और सर्वर आधारित नियंत्रण

यूजर्स के वेब ब्राउजर पर लोड होने वाले कोड के विश्लेषण से सामने आया है कि खोज प्रणाली के कई प्रमुख तंत्र कंपनी के केंद्रीय सर्वरों पर संचालित होते हैं। ब्राउजर कोड से पता चलता है कि पुलिस विभाग बिना किसी केस नंबर या वैध जांच कारण के भी सिस्टम को कॉन्फ़िगर कर सकते हैं। यद्यपि कंपनी ने यह दावा किया है कि साल के अंत तक ऑडिटिंग और अनिवार्य केस कोड जैसे सुरक्षा मानक लागू कर दिए जाएंगे, वर्तमान में कई सुरक्षा फीचर्स डिफॉल्ट रूप से बंद रहते हैं।

जब कोई अधिकारी खोज चलाता है, तो दर्ज की गई भाषा, एआई मॉडल द्वारा दिया गया कॉन्फिडेंस स्कोर और अधिकारी की प्रतिक्रिया कंपनी के सर्वर पर भेजी जाती है। हालांकि, यह स्पष्ट नहीं है कि कंपनी इन रिकॉर्ड्स को कितने समय तक सुरक्षित रखती है या इनका उपयोग अपने सिस्टम के आंतरिक मूल्यांकन के लिए किस प्रकार करती है। बाहर बैठा कोई भी व्यक्ति यह नहीं माप सकता कि एआई मॉडल कितनी बार गलत परिणाम देता है।

संवेदनशील सामग्री की श्रेणियां और गार्डरेल्स की विफलता

सिस्टम के भीतर आठ संवेदनशील श्रेणियों के तहत खोजों को जांचा जाता है। इनमें नस्ल, धर्म, राष्ट्रीयता, पक्षपातपूर्ण शब्द, अश्लील सामग्री और राजनीतिक या सांस्कृतिक अभिव्यक्ति शामिल हैं। एआई मॉडल प्रत्येक खोज को तीन निर्णयों में बांटता है: अलाउ, ब्लॉक या वार्न। नस्ल, राष्ट्रीयता और आपत्तिजनक भाषा पर आधारित खोजों को सिस्टम पूरी तरह ब्लॉक कर देता है।

लेकिन राजनीतिक, सामाजिक और सांस्कृतिक अभिव्यक्ति को केवल वार्निंग श्रेणी में रखा गया है। जब कोई अधिकारी इस श्रेणी से जुड़े शब्दों या टी-शर्ट और बम्पर स्टिकर पर लिखे नारों की खोज करता है, तो सिस्टम एक चेतावनी दिखाता है। अधिकारी चेतावनी स्वीकार करने वाले बॉक्स पर टिक करके और टिप्पणी लिखकर खोज को जारी रख सकता है। सेंटर फॉर डेमोक्रेसी एंड टेक्नोलॉजी के टॉम बोवमैन के अनुसार, संवैधानिक रूप से सबसे अधिक संरक्षित राजनीतिक अभिव्यक्ति को ही सबसे कमजोर सुरक्षा दी गई है।

पुलिस अधिकारियों द्वारा सिस्टम के दुरुपयोग के मामले

सर्विलांस डेटा के दुरुपयोग की घटनाएं पहले भी सामने आ चुकी हैं। द वॉशिंगटन पोस्ट की रिपोर्ट के अनुसार, अमेरिका में कम से कम 50 पुलिस अधिकारियों पर लाइसेंस प्लेट रीडर के दुरुपयोग के आरोप लगे हैं, जिनमें से 46 मामले फ्लॉक सिस्टम से जुड़े हैं। इनमें से आधे से अधिक मामलों में अधिकारियों ने अपनी पत्नी, प्रेमिका, पूर्व साथी या उनके नए साथियों की लोकेशन को ट्रैक करने के लिए सिस्टम का इस्तेमाल किया।

उदाहरण के लिए, मिलवॉकी के एक अधिकारी ने एक महिला को 124 बार और उसके साथी को 55 बार सर्च किया और हर खोज को जांच के रूप में दर्ज किया। जॉर्जिया के एक पुलिस प्रमुख ने अपनी पूर्व प्रेमिका और उसकी बेटी को 600 बार सर्च किया। कैनसस के एक प्रमुख ने अपनी पूर्व प्रेमिका को 164 बार सर्च किया, जबकि उत्तरी कैरोलिना की एक अधिकारी ने अपने साथी की पूर्व पत्नी को 31 बार सर्च किया। इससे पहले 2016 में एसोसिएटेड प्रेस की जांच में 2013 से 2015 के बीच डेटाबेस दुरुपयोग के लिए 325 से अधिक बार कर्मचारियों पर दंडात्मक कार्रवाई की बात सामने आई थी। इसी तरह 2016 से आईसीई और सीपीबी अधिकारियों के खिलाफ भी सैकड़ों बार डेटाबेस दुरुपयोग की जांच की गई है।

अलर्ट सिस्टम और सुरक्षा नियमों को बायपास करने के तरीके

सिस्टम में दो प्रकार के अलर्ट तंत्र शामिल हैं। पहला वॉचलिस्ट अलर्ट है जो अधिकारी द्वारा नक्शे पर खींचे गए क्षेत्र में दिए गए विवरण से मेल खाने वाले व्यक्ति के दिखते ही सूचना भेजता है। दूसरा पीपल डिटेक्शन अलर्ट है, जहां किसी एक कैमरे के दृश्य क्षेत्र में जैसे किसी दरवाजे पर बॉक्स बनाया जाता है। जब कोई व्यक्ति उस क्षेत्र में प्रवेश करता है और सिस्टम 75 प्रतिशत निश्चित होता है, तो अलर्ट ट्रिगर हो जाता है।

विशेषज्ञों का कहना है कि ब्लॉकिंग नियमों को आसानी से बायपास किया जा सकता है। यूनिवर्सिटी ऑफ कैलिफोर्निया सैन डिएगो के असिस्टेंट प्रोफेसर दीपक कुमार और सेंटर फॉर डेमोक्रेसी एंड टेक्नोलॉजी की केट रुआन के अनुसार, यदि कोई अधिकारी धर्म के नाम पर सर्च नहीं कर सकता, तो वह किसी विशेष धार्मिक पहनावे का विवरण लिखकर परिणाम प्राप्त कर सकता है। कैलिफोर्निया में एक अधिकारी ने जब अमेरिकन फ्लैग शब्द से व्यक्ति की खोज की तो वह ब्लॉक हो गया, लेकिन उसी शब्द को वाहन मोड में डालते ही 11,000 कैमरों में खोज शुरू हो गई।

विभागीय नीतियां और ऑडिटिंग टूल्स

तकनीक के उपयोग को लेकर विभिन्न शहरों में विरोध प्रदर्शन हुए हैं। कई पुलिस विभागों ने अनुबंध रद्द कर दिए हैं और नगर परिषदों ने कैमरों को हटाने के पक्ष में मतदान किया है। टेक्सस में एक डिप्टी द्वारा गर्भपात कराने वाली महिला की तलाश के लिए 83,000 से अधिक कैमरों को सर्च करने के बाद दो कांग्रेस सदस्यों ने कंपनी के सीईओ गारेट लैंगली को पत्र लिखा था। इलिनोइस में यह भी पाया गया कि कंपनी ने राज्य के कानून का उल्लंघन करते हुए संघीय आव्रजन एजेंटों को डेटा एक्सेस दिया था।

कंपनी ने ऑडिट असिस्टेंस नामक टूल पेश किया है जो असामान्य खोज पैटर्न को फ्लैग करता है। साउथ कैरोलिना के एक शेरिफ कार्यालय में इस टूल को चालू करने के अगले ही दिन 2,700 से अधिक अनधिकृत खोजों की पहचान की गई। मियामी बीच के पूर्व पुलिस प्रमुख डॉन डी लुका और एसीएलयू के जे स्टेनली का मानना है कि केवल सॉफ्टवेयर चेतावनियां पर्याप्त नहीं हैं, जब तक कि विभागों के भीतर सख्त कानूनी नीतियां और जवाबदेही लागू न की जाएं।