【コラム】アジャイルなスタートアップモデルに倫理観を導入する時代がきた

今回は「【コラム】アジャイルなスタートアップモデルに倫理観を導入する時代がきた」についてご紹介します。

関連ワード （地域、思慮深、有色人種等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

アイデアを得て、チームを作り、「実用最小限の製品（MVP）」を完成させてユーザーに届ける。これは誰もが知っているスタートアップの事業の進め方である。

しかし、人工知能（AI）や機械学習（ML）がハイテク製品のいたるところに導入されるようになり、意思決定プロセスにおいてAIが人間を補強、または代替することの倫理的意味を市場がますます意識するようになった現在、スタートアップはMVPモデルの再考を迫られている。

MVPモデルとは、ターゲット市場から重要なフィードバックを収集し、製品の発売に向けて必要な最小限の開発に反映させるというもので、今日の顧客主導型ビジネスを推進する強力なフィードバックループを生み出している。過去20年間で大きな成功をもたらした、スマートでアジャイルなこのモデルは、何千社ものスタートアップを成功に導き、その中には10億ドル規模に成長した企業もある。

しかし、大多数のために機能する高性能な製品やソリューションを構築するだけでは、もはや十分ではない。有色人種に偏見を持つ顔認識技術から、女性を差別する信用貸付アルゴリズムまで、ここ数年間でAIやMLを搭載した複数の製品が、その開発とマーケティングに何百万ドル（何億円）も注ぎ込まれた後に倫理的ジレンマが原因で消滅している。アイデアを市場に出すチャンスが一度しかない世界でこのリスクはあまりにも大きく、安定した企業であっても致命的なものになりかねない。

かといってリーンなビジネスモデルを捨て、よりリスク回避的な代替案を選ばなければならない訳ではない。リーンモデルの俊敏性を犠牲にすることなく、スタートアップのメンタリティに倫理性を導入できる中間領域があるのだが、そのためにはスタートアップの最初のゴールとも言える初期段階の概念実証から始めると良い。

そして企業はMVPを開発する代わりに、AI / MLシステムの開発、展開、使用時に、倫理的、道徳的、法的、文化的、持続可能、社会経済的に考慮するアプローチであるRAI（責任ある人工知能）に基づいた倫理的実行可能製品（EVP）を開発して展開すべきなのである。

これはスタートアップにとってだけでなく、AI / ML製品を構築している大手テクノロジー企業にとっても優れた常套手段である。

ここでは、特に製品に多くのAI/ML技術を取り入れているスタートアップがEVPを展開する際に利用できる、3つのステップをご紹介したい。

スタートアップには、最高戦略責任者、最高投資責任者、さらには最高ファン責任者などが存在するが、最高倫理責任者はそれと同じくらい、またはそれ以上に重要な存在だ。さまざまなステークホルダーと連携し、自社、市場、一般の人々が設定している道徳的基準に適合する製品を開発しているかどうかを確認するのがこの人物である。

創業者、経営幹部、投資家、取締役会と開発チームとの間の連絡役として、全員が思慮深く、リスクを回避しながら、正しく倫理的な質問をするよう、とりはからうのもまたこの人物の仕事である。

機械は過去のデータに基づいて学習する。現在のビジネスプロセスにシステム的な偏りが存在する場合（人種や性別による不平等な融資など）、AIはそれを拾い上げ、今後も同じように行動するだろう。後に製品が市場の倫理基準を満たさないことが判明した場合、データを削除して新しいデータを見つけるだけでは解決しない。

これらのアルゴリズムはすでに訓練されているのである。40歳の男性が、両親や兄妹から受けてきた影響を元に戻せないのと同様に、AIが受けた影響も消すことはできない。良くも悪くも結果から逃れることはできないのだ。最高倫理責任者はAI搭載製品にそのバイアスが染み込む前に、組織全体に内在するそのバイアスを嗅ぎ分ける必要がある。

責任あるAIは一度きりのものではなく、組織のAIとの関わり合いにおけるリスクとコントロールに焦点を当てた、エンド・ツー・エンドのガバナンスフレームワークである。つまり倫理とは、戦略や計画から始まり、開発、展開、運用に至るまで、開発プロセス全体を通じて統合されるべきものなのだ。

スコーピングの際、開発チームは最高倫理責任者と協力して、文化的、地理的に正当な行動原則を表す倫理的なAI原則を常に意識するべきである。特定の利用分野において道徳的な決定やジレンマに直面したとき、これらの原則はAIソリューションがどのように振る舞うべきかを示唆し、アイデアを与えてくれるだろう。

何より、リスクと被害に対する評価を実施し、身体的、精神的、経済的に誰も被害に遭っていないことを確かめる必要がある。持続可能性にも目を向け、AIソリューションが環境に与える可能性のある害を評価するべきだ。

開発段階では、AIの利用が企業の価値観と一致しているか、モデルが異なる人々を公平に扱っているか、人々のプライバシーの権利を尊重しているかなどを常に問い続ける必要がある。また、自社のAI技術が安全、安心、堅牢であるかどうか、そして説明責任と品質を確保するための運用モデルがどれだけ効果的であるかも検討する必要がある。

機械学習モデルの要素として重要なのが、モデルの学習に使用するデータである。MVPや初期にモデルがどう証明されるかだけでなく、モデルの最終的な文脈や地理的な到達範囲についても配慮しなければならない。こうすることで、将来的なデータの偏りを避け、適切なデータセットを選択することができるようになる。

社会的影響を考えると、EUや米国などの立法機関がAI/MLの利用を規制する消費者保護法を成立させるのは時間の問題だろう。一度法律が成立すれば、世界中の他の地域や市場にも広がる可能性は高い。

これには前例がある。EUで一般データ保護規則（GDPR）が成立したことをきっかけに、個人情報収集の同意を証明することを企業に求める消費者保護政策が世界各地で相次いだ。そして今、政界、財界を問わずAIに関する倫理的なガイドラインを求める声が上がっており、またここでも2021年にAIの法的枠組みに関する提案をEUが発表し、先陣を切っている。

AI/MLを搭載した製品やサービスを展開するスタートアップは、継続的なガバナンスと規制の遵守を実証する準備を整える必要がある。後から規制が課される前に、今からこれらのプロセスを構築しておくよう注意したい。製品を構築する前に、提案されている法律、ガイダンス文書、その他の関連ガイドラインを確認しておくというのは、EVPには欠かせないステップである。

さらに、ローンチ前に規制や政策の状況を再確認しておくと良いだろう。現在世界的に行われている活発な審議に精通している人物に取締役会や諮問委員会に参加してもらうことができれば、今後何が起こりそうかを把握するのに役立つだろう。規制はいつか必ず執行されるため、準備しておくに越したことはない。

AI/MLが人類に莫大な利益をもたらすというのは間違いない事実である。手作業を自動化し、ビジネスプロセスを合理化し、顧客体験を向上させる能力はあまりにも大きく、これを見過ごすわけにはいかない。しかしスタートアップは、AI/MLが顧客、市場、社会全体に与える影響を強く認識しておく必要がある。

スタートアップには通常、成功するためのチャンスが一度しかないため、市場に出てから倫理的な懸念が発覚したために、せっかくの高性能な製品が台無しになってしまうようではあまりにももったいない。スタートアップは初期段階から倫理を開発プロセスに組み込み、RAIに基づくEVPを展開し、発売後もAIガバナンスを確保し続ける必要がある。

ビジネスの未来とも言えるAIだが、イノベーションには思いやりや人間的要素が必要不可欠であるということを、我々は決して忘れてはならないのである。

編集部注：執筆者のAnand Rao（アナンド・ラオ）氏はPwCのAIグローバル責任者。

画像クレジット：I Like That One / Getty Images

【原文】

The rocket ship trajectory of a startup is well known: Get an idea, build a team and slap together a minimum viable product (MVP) that you can get in front of users.

However, today’s startups need to reconsider the MVP model as artificial intelligence (AI) and machine learning (ML) become ubiquitous in tech products and the market grows increasingly conscious of the ethical implications of AI augmenting or replacing humans in the decision-making process.

An MVP allows you to collect critical feedback from your target market that then informs the minimum development required to launch a product — creating a powerful feedback loop that drives today’s customer-led business. This lean, agile model has been extremely successful over the past two decades — launching thousands of successful startups, some of which have grown into billion-dollar companies.

However, building high-performing products and solutions that work for the majority isn’t enough anymore. From facial recognition technology that has a bias against people of color to credit-lending algorithms that discriminate against women, the past several years have seen multiple AI- or ML-powered products killed off because of ethical dilemmas that crop up downstream after millions of dollars have been funneled into their development and marketing. In a world where you have one chance to bring an idea to market, this risk can be fatal, even for well-established companies.

Startups do not have to scrap the lean business model in favor of a more risk-averse alternative. There is a middle ground that can introduce ethics into the startup mentality without sacrificing the agility of the lean model, and it starts with the initial goal of a startup — getting an early-stage proof of concept in front of potential customers.

However, instead of developing an MVP, companies should develop and roll out an ethically viable product (EVP) based on responsible artificial intelligence (RAI), an approach that considers the ethical, moral, legal, cultural, sustainable and social-economic considerations during the development, deployment and use of AI/ML systems.

And while this is a good practice for startups, it’s also a good standard practice for big technology companies building AI/ML products.

Here are three steps that startups — especially the ones that incorporate significant AI/ML techniques in their products — can use to develop an EVP.

Find an ethics officer to lead the charge

Startups have chief strategy officers, chief investment officers — even chief fun officers. A chief ethics officer is just as important, if not more so. This person can work across different stakeholders to make sure the startup is developing a product that fits within the moral standards set by the company, the market and the public.

They should act as a liaison between the founders, the C-suite, investors and the board of directors with the development team — making sure everyone is asking the right ethical questions in a thoughtful, risk-averse manner.

Machines are trained based on historical data. If systemic bias exists in a current business process (such as unequal racial or gender lending practices), AI will pick up on that and think that’s how it should continue to behave. If your product is later found to not meet the ethical standards of the market, you can’t simply delete the data and find new data.

These algorithms have already been trained. You can’t erase that influence any more than a 40-year-old man can undo the influence his parents or older siblings had on his upbringing. For better or for worse, you are stuck with the results. Chief ethics officers need to sniff out that inherent bias throughout the organization before it gets ingrained in AI-powered products.

Integrate ethics into the entire development process

Responsible AI is not just a point in time. It is an end-to-end governance framework focused on the risks and controls of an organization’s AI journey. This means that ethics should be integrated throughout the development process — starting with strategy and planning through development, deployment and operations.

During scoping, the development team should work with the chief ethics officer to be aware of general ethical AI principles that represent behavioral principles that are valid in many cultural and geographic applications. These principles prescribe, suggest or inspire how AI solutions should behave when faced with moral decisions or dilemmas in a specific field of usage.

Above all, a risk and harm assessment should be conducted, identifying any risk to anyone’s physical, emotional or financial well-being. The assessment should look at sustainability as well and evaluate what harm the AI solution might do to the environment.

During the development phase, the team should be constantly asking how their use of AI is in alignment with the company’s values, whether models are treating different people fairly and whether they are respecting people’s right to privacy. They should also consider if their AI technology is safe, secure and robust and how effective the operating model is at ensuring accountability and quality.

A critical component of any machine learning model is the data that is used to train the model. Startups should be concerned not only about the MVP and how the model is proved initially, but also the eventual context and geographic reach of the model. This will allow the team to select the right representative dataset to avoid any future data bias issues.

Don’t forget about ongoing AI governance and regulatory compliance

Given the implications on society, it’s just a matter of time before the European Union, the United States or some other legislative body passes consumer protection laws governing the use of AI/ML. Once a law is passed, those protections are likely to spread to other regions and markets around the world.

It’s happened before: The passage of the General Data Protection Regulation (GDPR) in the EU led to a wave of other consumer protections around the world that require companies to prove consent for collecting personal information. Now, people across the political and business spectrum are calling for ethical guidelines around AI. Again, the EU is leading the way after releasing a 2021 proposal for an AI legal framework.

Startups deploying products or services powered by AI/ML should be prepared to demonstrate ongoing governance and regulatory compliance — being careful to build these processes now before the regulations are imposed on them later. Performing a quick scan of the proposed legislation, guidance documents and other relevant guidelines before building the product is a necessary step of EVP.

In addition, revisiting the regulatory/policy landscape prior to launch is advisable. Having someone who is embedded within the active deliberations currently happening globally on your board of directors or advisory board would also help understand what is likely to happen. Regulations are coming, and it’s good to be prepared.

There’s no doubt that AI/ML will present an enormous benefit to humankind. The ability to automate manual tasks, streamline business processes and improve customer experiences are too great to dismiss. But startups need to be aware of the impacts AI/ML will have on their customers, the market and society at large.

Startups typically have one shot at success, and it would be a shame if an otherwise high-performing product is killed because some ethical concerns weren’t uncovered until after it hits the market. Startups need to integrate ethics into the development process from the very beginning, develop an EVP based on RAI and continue to ensure AI governance post-launch.

AI is the future of business, but we can’t lose sight of the need for compassion and the human element in innovation.

（文：Anand Rao、翻訳：Dragonfly）