このところ欧州で、ITシステムに関する批判がいくつか巻き起こっている。典型的なのは、富士通の英国子会社（旧ICL）が納入したポストオフィス向けのシステムで、多くの冤罪被害者が出た事件（*1）。会計システムのバグで、お金の帳尻が合わなくなり横領を疑われた郵便局長らが出た。
この件はソフトウェアの不良（バグ）だが、そうではなくてアルゴリズムそのものに対する非難が過去にさかのぼって起こっている。ひとつは同じ英国で、2020年の高校卒業・大学入学資格試験（Ａレベル）の結果に関する問題。
｢貧しい家の子の成績下げる｣アルゴリズムの波紋 イギリスで起きた衝撃､責任は誰にあるのか | リーダーシップ・教養・資格・スキル | 東洋経済オンライン (toyokeizai.net)
恵まれない環境の子供たちの成績を低く評価するアルゴリズムだったことがわかり、アルゴリズムは廃棄された。
もうひとつは、オランダの事件。2010年代のことで、一連の社会福祉給付金詐欺事件を受けて、詐欺容疑者をアルゴリズムにかけて絞り込んだという。その結果、不正受給をしていないのに詐欺と疑われ、給付も打ち切られた人が多く出た。原因をたどると、二重国籍を持っている人を容疑者と考えるアルゴリズムだったことが分かった。
家や職失う｢巨大冤罪｣招いたアルゴリズムの怖さ オランダ政府は激しく非難され､内閣も総辞職 | リーダーシップ・教養・資格・スキル | 東洋経済オンライン (toyokeizai.net)
２件ともシステムの不良というより、そのようなアルゴリズムを設定した人間の問題である。ただ＜東洋経済誌＞のこの２つの記事が問題提起しているのは、今後はアルゴリズムを人間ではなくAIが設定するということ。AIは間違えることも、公平性を欠いた回答をすることもある（*2）。さらに間違ったデータを学習させられて、歪んでしまうリスクもある。AIの出力については、人間がちゃんとチェックすることが（特定分野では）求められるのだが、その人間が作ったアルゴリズムすら信用できないとしたら･･･。
これは技術者や（サービス提供の）経営者だけではなく、社会全体の課題として取り組むべきだろう。
