女性の事故 泥棒と間違えられる ニュージーランドのスーパーマーケットの顔認識システムから私は驚かない。チェーンのとき 食材 北島 は店舗での犯罪と戦うためにこの技術をテストする意向を発表したが、技術とプライバシーの専門家は多くの懸念を表明した。特に、マオリの女性と有色人種の女性に対する差別の危険性が強調されました。非常に正しい懸念であり、必要な反省です。
スーパーマーケットの利用状況: アルゴリズムを超えて
自動顔認識は、正確性と精度に重点が置かれ、純粋なアルゴリズムのパターン マッチングとして抽象的な用語で議論されることがよくあります。 レジのない「持ち帰り」型の店舗。 これらは、生体認証データとセキュリティ データを管理するシステムにとって、当然のことながら重要な優先事項です。しかし、自動化された意思決定の結果が非常に重要視されるため、これらの意思決定がどのように適用されるかについての懸念が見落とされがちです。
デザイナーは、「使用状況」という用語を使用して、製品の日常の作業条件、活動、目的を説明します。スーパーマーケットでの顔認識テクノロジーの使用状況は、人間工学や使いやすさなどの従来のデザイン上の懸念をはるかに超えています。自動化された侵害通知がストア内でどのように応答をトリガーするか、それらの応答を管理するためのプロトコル、問題が発生した場合に何が起こるかを考慮する必要があります。これらは単なるテクノロジーやデータの問題ではありません。 それらは人間的、社会的な問題です。
精度とエラーの影響のバランスを取る
予測精度の向上への投資は、顔認識システムにとって明らかな優先事項のように思えます。しかし、これはより広い使用状況で考える必要があります。 少数の誤った予測によって引き起こされる損害は、他の部分でのわずかなパフォーマンスの向上を上回ります。
ニュージーランドのスーパーマーケットの間違いは、この技術の首を絞める可能性のある一連の小さな真珠にすぎません。そして、これは「正真正銘の人為的ミスだった」というスーパーマーケット会社の回答は、こうしたAIや自動化システムの利用をめぐるより深い問題には触れていない。 研究によると その 人間の意思決定者は AI の決定からバイアスを引き継ぐ可能性がある。ストレスが高く暴力の危険がある状況では、自動化された顔認識と人間による即席の判断を組み合わせます。 潜在的に危険です。
個々のワーカーやテクノロジー コンポーネントを単一障害点として孤立させて責めるのではなく、システム全体の耐障害性をより重視する必要があります。 AI エラーや人的エラーを完全に回避することはできません。 「人間が関与する」AI セキュリティ プロトコルには、顧客の権利を尊重し、固定観念から保護する、より慎重な保護手段が必要です。
スーパーマーケットは監視の文化へ？
オーストラリアの事件は象徴的だ。ニュージーランドでは、小売店の犯罪に対し、あからさまな技術的監視によって対応している。スタッフに備え付けられたボディーカメラ（現在はウールワースチェーンでも採用されている）、店舗内での顧客の動きのデジタル追跡、自動トロリーロックと支払いなしでの退店を阻止するための出口ゲートなどである。 。
スーパーマーケットは、ショッピング体験におけるテクノロジーの変化の先駆者にすぎないかもしれません。すべての顧客が潜在的な泥棒のように監視される監視文化へと向かう恐ろしい変化です。 11/XNUMX以降、世界の空港のセキュリティがどのように変化したかを思い出させます。
人間中心の設計への挑戦
ニュージーランドのプライバシー委員は近くフードスタッフズの顔認識試験についてコメントする予定だ。そして、この宣言は、信じてください、ローレンツの言葉を言い換えているのですが、世界のある地域での古典的な蝶の羽ばたきが、世界の反対側で竜巻を引き起こす可能性があるのです。
窃盗と暴力は、他の企業と同様にスーパーマーケットも対処しなければならない緊急の問題です。しかしこれからは、デジタル監視システムが、考えられる代替アプローチよりも責任があり、倫理的で効果的なソリューションであることを実証しなければなりません。それは、テクノロジーには人間中心の設計が必要であることを認識することを意味します。虐待を避けるため、偏見を避けるため。 聖なる神々よ、被害を避けてください。
規制の枠組みや基準を導き、AI の許容可能な使用に関する一般の議論に情報を提供し、より安全な自動システムの開発をサポートするために、今このような岐路を利用しないとしたら、いつになるでしょうか?ニュージーランドの事例は、小売業などのデリケートな状況で AI システムを設計および実装するすべての人々に対する警鐘です。あらゆる複雑さやニュアンスを伴う人間的要素を中心に据えることによってのみ、新たな形の差別や監視を生み出すことなく、社会を真に改善するテクノロジーを開発することができるのです。
