NASAのアーカイブでドキュメント理解の経験を積むDocugamiの新モデル

今回は「NASAのアーカイブでドキュメント理解の経験を積むDocugamiの新モデル」についてご紹介します。

関連ワード （Docugami、NASA、機械学習等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

最近はデータについての話題が多いため、膨大な量の処理が世界中のドキュメントで行われていることを忘れてはいないだろうか。ドキュメントは多様なファイルや形式が混在する動物園のようなものだ。非常に大きな価値はあるが、クリーンな構造化データベースの時代にはまだ適合していない。Docugami（ドキュガミ）はこの状況を変えようとしている。Docugamiのシステムは、任意のドキュメントを直感的に理解した上で、内容に対してインテリジェントな方法でインデックスを作成する。NASAはこの計画に賛同している。

Docugamiのプロダクトが計画どおり機能すると、何年にもわたり積み上げられたドキュメントの山を、誰でも瞬時に使いやすいデータに変換できるようになる。

どんな会社でも、運営していればドキュメントが大量に発生する。契約書や法的書類、不動産の賃貸借契約書や同意書、マーケティング関連の提案書やリリースノート、医療のカルテなどがある。形式もさまざまで、Word（ワード）ドキュメント、PDF、ワードからエクスポートしたPDFを印刷してスキャンしたものなど、多岐にわたる。

この問題に対応しようと何年にもわたって努力が払われたが、すべてのドキュメントを1カ所に集め、社内で共有したり編集したりできるようにするなど、大部分は組織側の対応だった。ドキュメントを理解するということは、それを扱う人間に委ねられてきたケースが多い。ドキュメントを理解するのは難しいので、これはもっともな話だ。

関連記事：自然言語処理ライブラリをオープンソースで提供するHugging Faceが43.6億円調達

賃貸借契約を考えてみよう。借主の名前がJill Jackson（ジル・ジャクソン）だとする。その契約書に「借主」と書かれているのを人間が読むと、借主が誰かは理解できる。また、他に100件の契約書があるとする。そのようなドキュメントに「借主」とあれば、ドキュメントの文脈からそれが先ほどと同じ概念を意味するが、同1人物ではないことを理解できる。一方で、機械学習や自然言語理解システムにとって、このような概念を理解して適用するのは非常に難しい。それでも、もしシステムがこのような概念を理解して応用できるのであれば、世界中の膨大なドキュメントから有用な情報を山のように抽出できる可能性がある。

Docugamiの創業者であるJean Paoli（ジャン・パオリ）氏によると、同社では問題を全面的に解決できたという。大胆な主張ではあるが、彼はそう言える数少ない人間の1人だ。パオリ氏はMicrosoft（マイクロソフト）で何十年も重要な人物だった。とりわけXML形式の作成に力を入れていた。.docxや.xlsxなどの「x」で終わるファイルをご存じだろう。パオリ氏は、そのようなファイル形式の発展に少なからず貢献している。

「データとドキュメントは同じではありません。人間が理解できるものがドキュメントで、コンピューターが理解できるものがデータです。なぜ違うのでしょうか。（マイクロソフトでの）私の最初の仕事は、ドキュメントをデータとして表せる形式を作ることでした。業界の友人たちと一緒にXMLを作り、それをBill（ビル）が承認しました」（そう、あのビル・ゲイツが）と彼は説明した。

このときに作られた形式は広く使われるようになったが、20年経った現在でも問題は解決されていない。さまざまな業種がデジタル化され、問題の規模は大きくなっているが、パオリ氏にとって解決策は同じだ。XMLのコンセプトは「ドキュメントはウェブページのように構造化されるべきだ」である。つまり、ボックス内にボックスがあり、メタデータで明確に定義されているという、コンピューターが処理しやすい階層モデルだ。

画像クレジット：Docugami

「数年前にAIに関わっていた時に、ドキュメントをデータに変換するというアイデアが浮かびました。階層モデルを参照するためのアルゴリズムが必要でしたが、そんなアルゴリズムは存在しないと他の人に言われました。XMLモデルではあらゆる要素が他の要素内にあり、各要素の持つ固有の名前から、そこに含まれるデータが分かります。このモデルは、現在使用されているAIモデルと互換性がありません。これが現実です。AIの専門家がこの問題に取り組むことを期待していましたが、そうはなりませんでした」と彼は説明した（「自分は他の分野で忙しかった」と彼は言い訳を加えた）。

コンピューティングの新しいモデルに互換性がないことは、驚くことではない。新しい技術には特定の条件や制限がつきものだ。AIは音声認識やコンピュータービジョンなど、重要な他の分野に焦点が当てられている。その分野でのアプローチは、ドキュメントを体系的に理解するニーズとは異なる。

「多くの人が、ドキュメントは猫に似ていると考えています。AIをトレーニングすることで、目やしっぽを見つけられるようになるというわけです。しかし、ドキュメントは猫には似ていません」と彼は言った。

当たり前のようだが、ここに制限があるのだ。セグメンテーション、シーンの理解、マルチモーダルのコンテキストなどの高度なAIの手法はすべて、ある意味で非常に高度な猫検出機能であり、猫だけでなく犬、車の種類、表情、場所なども検出できる。一方で、ドキュメントはそれぞれがあまりに異なっている、もしくは似すぎていると言えるかもしれない。そのため、同じようなアプローチでできるのは、せいぜいおおまかに分類することだ。

言語理解については適している面もあるが、パオリ氏が必要とする方法としては不適切だった。「AIは英語の言語レベルのように機能しています。AIは参照するテキストを、そのテキストが含まれているドキュメントと切り離して考えています。私は神経言語プログラミング（NLP）の専門家が好きです。私のチームの半数はNLPの専門家ですが、NLPの専門家はビジネスのプロセスについては考えません。XMLの専門家（コンピュータービジョンを理解している人たち）とNLPの専門家にチームで共同してもらう必要があります。そうすると、違うレベルでドキュメントを見ることができるようになります」と彼は言った。

画像クレジット：Docugami

パオリ氏が既存のツール（光学文字認識のような従来の成熟した機能を超えるもの）を採用しても、目標を達成できなかっただろう。そのため彼は独自のAIラボを作り、幅広い専門分野のチームが約2年間いろいろな改造を進めた。

「我々は自己資金でコアサイエンスをこっそりと研究し、特許事務所にかなりの数の特許を提出しました。その後ベンチャーキャピタルと会合を持ち、SignalFireが1000万ドル（約10億8000万円）のシードラウンドを自発的に主導してくれました」と彼は言った。

Docugamiを実用段階まで開発を進めるところまではシードラウンドに含まれなかったが、パオリ氏は作業中のドキュメントでプラットフォームについて説明してくれた。私はアクセス権を付与されず、スクリーンショットや動画も提供してもらえなかった。統合とUIの対応が途中だということで、ここからは想像してもらう必要がある。何かしらの企業向けSaaSサービスを想像してもらえれば、ほぼ間違いない。

Docugamiのユーザーは、任意の数のドキュメントを好きなだけアップロードできる。マシンが理解できるワークフローにドキュメントを移動すると、ドキュメントが解析される。スキャンされたPDFやワードファイルなどが、コンテンツに固有の階層構造にXMLのような形式で解析される。

「例えば、500個のドキュメントを複数のグループに分類するとします。こちらの30個は同じカテゴリー、20個は似ているから同じカテゴリー、そちらの5個をまとめるという感じです。ドキュメントの見た目、内容、使用方法などの手がかりを組み合わせてグループ化します」とパオリ氏は言った。あるサービスでは賃貸借とNDAの情報を区別できるかもしれないが、ドキュメントの種類は多岐にわたるため、事前にトレーニングされたカテゴリーの内容に合わせて分類して解決することはできない。どのドキュメントも内容が重複しない可能性があるため、Docugamiでは毎回トレーニングをやり直す。ドキュメントが1つしかない場合もやり直す。「ドキュメントを分類したら、ドキュメントの全体的な構成と階層を理解します。そうすることで、ドキュメントの内容全体を有効活用できます」。

画像クレジット：Docugami

この作業で可能になるのは、見出しのテキストを選択してインデックスを作成したり、単語が検索できるようになったりすることだけではない。ドキュメントに含まれるデータ（支払元、支払先、金額、支払日、支払いの条件など）がすべて構造化され、同じようなドキュメントの文脈で編集が可能となる（推定された内容を再確認するために多少の入力が必要）。

わかりにくいと思うので、会社で進行中の融資に関するレポートを1つにまとめることを考えてみよう。必要な作業は、サンプルドキュメント内の重要な部分をハイライトするだけだ。「Jane Roe（ジェーン・ロー）」「2万ドル（約210万円）」「5年」などの部分をクリックしたら、対応する情報を取得する別のドキュメントを選択する。すると、ドキュメントから取得された名前、金額、日付などが記載されている整理されたスプレッドシートが、数秒後にできあがる。

当然、このデータはすべて移動可能である。ビジネスで一般的に使用される他のさまざまなパイプやサービスとの統合も計画されている。実現すれば、レポートの自動化、特定の条件下でのアラートの発出、テンプレートや標準ドキュメントの自動作成が可能になる（古いドキュメントを保管したり、重要なカ所に下線を引いたりする必要がなくなる）。

このような処理が、ドキュメントのアップロード後30分で行われることに注目できる。データのラベリングや前処理、クリーニングは不要だ。事前に決まっている特定の概念や、賃貸借ドキュメントの形式に基づいてAIが処理するわけではない。関連がある構造、名前、日付などの必要な情報を、アップロードしたドキュメントからすべて学習するのだ。加えて、異なる業種への対応も可能で、誰でも直感的に理解できるインターフェースを使用する。ヘルスケアデータや建設関係の契約管理など、どんなデータを入力してもツールは処理可能だ。

ウェブインターフェースは、ドキュメントを取り込んで新しいドキュメントを作成できる主要ツールの1つであるが、ワードには別のツールがある。ワードを使用する場合にDocugamiは、使用するドキュメントがどのような形式でも内容を完全に認識するアシスタントのように機能する。そのため、新しいドキュメントを作成したり、標準的な情報を入力したり、規制に準拠したりすることができる。

機械学習の適用対象として法律文書を処理するのはあまり楽しいものではないが、重要ではある。そうでなければ私はこの記事を書いていないだろう（記事の長さはともかく、記事を作成することはなかったかもしれない）。このような深い理解が必要なタイプのドキュメントは、既存業種で使用されている標準のドキュメントタイプ（警察や医療のレポートなど）で一般的となっているが、カヤックレンタルサービス向けに運用できる特注モデルを誰かがトレーニングするまで待っているのは楽しいものである。中小企業のドキュメントにも、大企業のドキュメントと同じような価値が眠っている。中小企業ではデータサイエンティストを雇う余裕がなく、大企業でもすべて手作業で行うことはできない。

画像クレジット：NASA

極めて難しい問題でも、人間にとっては些細なことがある。似たような20個のドキュメントに名前と金額のリストが含まれていても、誰でも簡単に目を通せるだろう。おそらくDocugamiがクロールしてトレーニングするよりも短い時間で、内容を把握することが可能だ。

AIを活用する目的は、人間の能力を模倣してそれを超えることにある。経理担当者が20件の契約に対するレポートを毎月作成することと、1000件の契約に対するレポートを毎日作成することは別問題だが、Docugamiではその両方をどちらも簡単に実現できる。このような運用を調整できることが重要な企業システムにとっても、ドキュメントのバックログに埋もれたデータからクリーンなデータやインサイトを集めることを望んでいるNASAにとっても、Docugamiは適していると言える。

NASAが大量に保有しているもの、それはドキュメントだ。合理的かつ適切に管理されたアーカイブは、設立当初までさかのぼれる。数多くの重要なドキュメントをさまざまな方法で利用できる。私は長い時間をかけて、楽しみながら歴史あるドキュメントの情報を精査した。

NASAは、アポロ11号に関する新しいインサイトを探しているわけではない。今に至るまでのプログラム、募集、補助金プログラム、予算、エンジニアリングプロジェクトを通じて、膨大なドキュメントが生成されている。これは結局のところ、連邦政府の官僚制度の大部分を占めている。さらに、何十年にもわたって書類を管理してきた他の大規模組織と同じように、NASAのドキュメントにはさまざまな可能性が隠されている。

ファイル内には専門家の意見、研究の産物、エンジニアリングのソリューション、その他さまざまなカテゴリーの重要情報が存在しており、簡単なワードで検索できると思われるが構造化されてはいない。例えばファイルに保存されている情報をジェット推進研究所で働いている人が理解し、ノズル設計に取り入れることができれば有用ではないだろうか。また、あるトピックについて、種類、日付、作成者、ステータスごとに整理された包括的なリストの最新版を数分で入手できたらどうだろう。特許アドバイザーが、従来の技術に関するNIAC助成金の受領について、情報を提供する必要がある場合はどうだろう。特定のキーワードで調べた場合よりも具体的に、特許や申請に関する古い情報を取得できるのではないだろうか。

2020年授与されたNASAのSBIR助成金は「Johnson Space Center（ジョンソン宇宙センター）の特定の種類のドキュメントをすべて収集する」ような、特定の業務を対象とするものではない。これは、このような助成金の多くと同様に探索や調査を目的とした契約であり、DocugamiはNASAの研究者と協力して、アーカイブにテクノロジーを適用する最もよい方法を見つけるよう取り組んでいる（優れた適用方法として、SBIRとその他の中小企業向け資金提供プログラムが挙げられるかもしれない）。

米国立科学財団（NSF）が提供する別のSBIR助成金とは次の点で異なる。NASAでは、さまざまな種類のドキュメントに重複する情報が含まれていても、チームで適切に整理することを検討している。その一方でNSFでは「小さなデータ」を適切に特定することを目指している。「我々は小さなデータに注目しています。非常に細かい点です。例えば名前が記載されている場合、貸主の名前か借主の名前か、医者の名前か患者の名前かに注目します。患者の記録にペニシリンに関する記載がある場合、それが処方されているか禁止されているかに注目します。アレルギーという欄と処方という欄がある場合に、そのような項目を関連付けることができます」とパオリ氏はいう。

SBIR助成金の予算がやや少ないため、その金額では会社の経営に影響がある可能性を指摘すると、彼は笑った。

「我々は助成金に頼って運営しているのでも、助成金が重要なのでもありません。私にとって、助成金は世界最高のラボで科学者と働くための方法なのです」と彼は言った。一方で彼は、助成金によるプロジェクトがいくつも予定されていることにも言及していた。「私にとって科学は燃料です。ビジネスモデルは非常にシンプルです。Docusign（ドキュサイン）やDropbox（ドロップボックス）のような、サブスクリプション形式のサービスです」。

この会社はビジネス運営を開始したばかりであり、インテグレーションパートナーやテスターとの多少のつながりを作っている。しかし今後1年で、独自のベータ版を展開した上で一般公開する予定だ。ただし明確な日程は決まっていない。

「我々は新興企業です。1年前は社員が5～6人でしたが、このシードラウンドで1000万ドル（約10.8億円）を獲得し、波に乗っています」とパオリ氏は言った。彼はこれが儲かるビジネスであるというだけでなく、企業の仕組みを大きく変えるものになると確信している。

「人々はドキュメントが好きです。私がフランス人だからかもしれませんが、テキストや本、文書は重要だと考えています。人間にはそういうものが必要です。人間は機械が上手に考えることを助け、機械は人間が上手に考えることを助けるもの。我々はそう考えています」と彼は言った。

関連記事：企業向けノーコードAIプラットフォームのNoogataがシードラウンドで約13億円を調達

画像クレジット：cifotart / Getty Images（Image has been modified）

【原文】

You hear so much about data these days that you might forget that a huge amount of the world runs on documents: a veritable menagerie of heterogeneous files and formats holding enormous value yet incompatible with the new era of clean, structured databases. Docugami plans to change that with a system that intuitively understands any set of documents and intelligently indexes their contents — and NASA is already on board.

If Docugami’s product works as planned, anyone will be able to take piles of documents accumulated over the years and near-instantly convert them to the kind of data that’s actually useful to people.

If Docugami’s product works as planned, anyone will be able to take piles of documents accumulated over the years and near-instantly convert them to the kind of data that’s actually useful to people.

Because it turns out that running just about any business ends up producing a ton of documents. Contracts and briefs in legal work, leases and agreements in real estate, proposals and releases in marketing, medical charts, etc, etc. Not to mention the various formats: Word docs, PDFs, scans of paper printouts of PDFs exported from Word docs, and so on.

Over the last decade there’s been an effort to corral this problem, but movement has largely been on the organizational side: put all your documents in one place, share and edit them collaboratively. Understanding the document itself has pretty much been left to the people who handle them, and for good reason — understanding documents is hard!

Think of a rental contract. We humans understand when the renter is named as Jill Jackson, that later on, “the renter” also refers to that person. Furthermore, in any of a hundred other contracts, we understand that the renters in those documents are the same type of person or concept in the context of the document, but not the same actual person. These are surprisingly difficult concepts for machine learning and natural language understanding systems to grasp and apply. Yet if they could be mastered, an enormous amount of useful information could be extracted from the millions of documents squirreled away around the world.

What’s up, .docx?

Docugami founder Jean Paoli says they’ve cracked the problem wide open, and while it’s a major claim, he’s one of few people who could credibly make it. Paoli was a major figure at Microsoft for decades, and among other things helped create the XML format — you know all those files that end in x, like .docx and .xlsx? Paoli is at least partly to thank for them.

“Data and documents aren’t the same thing,” he told me. “There’s a thing you understand, called documents, and there’s something that computers understand, called data. Why are they not the same thing? So my first job [at Microsoft] was to create a format that can represent documents as data. I created XML with friends in the industry, and Bill accepted it.” (Yes, that Bill.)

The formats became ubiquitous, yet 20 years later the same problem persists, having grown in scale with the digitization of industry after industry. But for Paoli the solution is the same. At the core of XML was the idea that a document should be structured almost like a webpage: boxes within boxes, each clearly defined by metadata — a hierarchical model more easily understood by computers.

Image Credits: Docugami

“A few years ago I drank the AI kool-aid, got the idea to transform documents into data. I needed an algorithm that navigates the hierarchical model, and they told me that the algorithm you want does not exist,” he explained. “The XML model, where every piece is inside another, and each has a different name to represent the data it contains — that has not been married to the AI model we have today. That’s just a fact. I hoped the AI people would go and jump on it, but it didn’t happen.” (“I was busy doing something else,” he added, to excuse himself.)

The lack of compatibility with this new model of computing shouldn’t come as a surprise — every emerging technology carries with it certain assumptions and limitations, and AI has focused on a few other, equally crucial areas like speech understanding and computer vision. The approach taken there doesn’t match the needs of systematically understanding a document.

“Many people think that documents are like cats. You train the AI to look for their eyes, for their tails … documents are not like cats,” he said.

It sounds obvious, but it’s a real limitation. Advanced AI methods like segmentation, scene understanding, multimodal context, and such are all a sort of hyperadvanced cat detection that has moved beyond cats to detect dogs, car types, facial expressions, locations, etc. Documents are too different from one another, or in other ways too similar, for these approaches to do much more than roughly categorize them.

As for language understanding, it’s good in some ways but not in the ways Paoli needed. “They’re working sort of at the English language level,” he said. “They look at the text but they disconnect it from the document where they found it. I love NLP people, half my team is NLP people — but NLP people don’t think about business processes. You need to mix them with XML people, people who understand computer vision, then you start looking at the document at a different level.”

Docugami in action

Image Credits: Docugami

Paoli’s goal couldn’t be reached by adapting existing tools (beyond mature primitives like optical character recognition), so he assembled his own private AI lab, where a multidisciplinary team has been tinkering away for about two years.

“We did core science, self-funded, in stealth mode, and we sent a bunch of patents to the patent office,” he said. “Then we went to see the VCs, and SignalFire basically volunteered to lead the seed round at $10 million.”

Coverage of the round didn’t really get into the actual experience of using Docugami, but Paoli walked me through the platform with some live documents. I wasn’t given access myself and the company wouldn’t provide screenshots or video, saying it is still working on the integrations and UI, so you’ll have to use your imagination … but if you picture pretty much any enterprise SaaS service, you’re 90% of the way there.

As the user, you upload any number of documents to Docugami, from a couple dozen to hundreds or thousands. These enter a machine understanding workflow that parses the documents, whether they’re scanned PDFs, Word files, or something else, into an XML-esque hierarchical organization unique to the contents.

“Say you’ve got 500 documents, we try to categorize it in document sets, these 30 look the same, those 20 look the same, those five together. We group them with a mix of hints coming from how the document looked, what it’s talking about, what we think people are using it for, etc.,” said Paoli. Other services might be able to tell the difference between a lease and an NDA, but documents are too diverse to slot into pre-trained ideas of categories and expect it to work out. Every set of documents is potentially unique, and so Docugami trains itself anew every time, even for a set of one. “Once we group them, we understand the overall structure and hierarchy of that particular set of documents, because that’s how documents become useful: together.”

Image Credits: Docugami

That doesn’t just mean it picks up on header text and creates an index, or lets you search for words. The data that is in the document, for example who is paying whom, how much and when, and under what conditions, all that becomes structured and editable within the context of similar documents. (It asks for a little input to double check what it has deduced.)

It can be a little hard to picture, but now just imagine that you want to put together a report on your company’s active loans. All you need to do is highlight the information that’s important to you in an example document — literally, you just click “Jane Roe” and “$20,000” and “five years” anywhere they occur — and then select the other documents you want to pull corresponding information from. A few seconds later you have an ordered spreadsheet with names, amounts, dates, anything you wanted out of that set of documents.

All this data is meant to be portable too, of course — there are integrations planned with various other common pipes and services in business, allowing for automatic reports, alerts if certain conditions are reached, automated creation of templates and standard documents (no more keeping an old one around with underscores where the principals go).

Remember, this is all half an hour after you uploaded them in the first place, no labeling or pre-processing or cleaning required. And the AI isn’t working from some preconceived notion or format of what a lease document looks like. It’s learned all it needs to know from the actual docs you uploaded — how they’re structured, where things like names and dates figure relative to one another, and so on. And it works across verticals and uses an interface anyone can figure out in a few minutes. Whether you’re in healthcare data entry or construction contract management, the tool should make sense.

The web interface where you ingest and create new documents is one of the main tools, while the other lives inside Word. There Docugami acts as a sort of assistant that’s fully aware of every other document of whatever type you’re in, so you can create new ones, fill in standard information, comply with regulations and so on.

Okay, so processing legal documents isn’t exactly the most exciting application of machine learning in the world. But I wouldn’t be writing this (at all, let alone at this length) if I didn’t think this was a big deal. This sort of deep understanding of document types can be found here and there among established industries with standard document types (such as police or medical reports), but have fun waiting until someone trains a bespoke model for your kayak rental service. But small businesses have just as much value locked up in documents as large enterprises — and they can’t afford to hire a team of data scientists. And even the big organizations can’t do it all manually.

NASA’s treasure trove

Image Credits: NASA

The problem is extremely difficult, yet to humans seems almost trivial. You or I could glance through 20 similar documents and a list of names and amounts easily, perhaps even in less time than it takes for Docugami to crawl them and train itself.

But AI, after all, is meant to imitate and transcend human capacity, and it’s one thing for an account manager to do monthly reports on 20 contracts — quite another to do a daily report on a thousand. Yet Docugami accomplishes the latter and former equally easily — which is where it fits into both the enterprise system, where scaling this kind of operation is crucial, and to NASA, which is buried under a backlog of documentation from which it hopes to glean clean data and insights.

If there’s one thing NASA’s got a lot of, it’s documents. Its reasonably well-maintained archives go back to its founding, and many important ones are available by various means — I’ve spent many a pleasant hour perusing its cache of historical documents.

But NASA isn’t looking for new insights into Apollo 11. Through its many past and present programs, solicitations, grant programs, budgets, and of course engineering projects, it generates a huge amount of documents — being, after all, very much a part of the federal bureaucracy. And as with any large organization with its paperwork spread over decades, NASA’s document stash represents untapped potential.

Expert opinions, research precursors, engineering solutions, and a dozen more categories of important information are sitting in files searchable perhaps by basic word matching but otherwise unstructured. Wouldn’t it be nice for someone at JPL to get it in their head to look at the evolution of nozzle design, and within a few minutes have a complete and current list of documents on that topic, organized by type, date, author and status? What about the patent advisor who needs to provide a NIAC grant recipient information on prior art — shouldn’t they be able to pull those old patents and applications up with more specificity than any with a given keyword?

The NASA SBIR grant, awarded last summer, isn’t for any specific work, like collecting all the documents of such and such a type from Johnson Space Center or something. It’s an exploratory or investigative agreement, as many of these grants are, and Docugami is working with NASA scientists on the best ways to apply the technology to their archives. (One of the best applications may be to the SBIR and other small business funding programs themselves.)

Another SBIR grant with the NSF differs in that, while at NASA the team is looking into better organizing tons of disparate types of documents with some overlapping information, at NSF they’re aiming to better identify “small data.” “We are looking at the tiny things, the tiny details,” said Paoli. “For instance, if you have a name, is it the lender or the borrower? The doctor or the patient name? When you read a patient record, penicillin is mentioned, is it prescribed or prohibited? If there’s a section called allergies and another called prescriptions, we can make that connection.”

“Maybe it’s because I’m French”

When I pointed out the rather small budgets involved with SBIR grants and how his company couldn’t possibly survive on these, he laughed.

“Oh, we’re not running on grants! This isn’t our business. For me, this is a way to work with scientists, with the best labs in the world,” he said, while noting many more grant projects were in the offing. “Science for me is a fuel. The business model is very simple — a service that you subscribe to, like Docusign or Dropbox.”

The company is only just now beginning its real business operations, having made a few connections with integration partners and testers. But over the next year it will expand its private beta and eventually open it up — though there’s no timeline on that just yet.

“We’re very young. A year ago we were like five, six people, now we went and got this $10 million seed round and boom,” said Paoli. But he’s certain that this is a business that will be not just lucrative but will represent an important change in how companies work.

“People love documents. Maybe it’s because I’m French,” he said, “but I think text and books and writing are critical — that’s just how humans work. We really think people can help machines think better, and machines can help people think better.”

（文：Devin Coldewey、翻訳：Dragonfly）

機械学習 - Wikipedia

機械学習（きかいがくしゅう、英: Machine Learning ）とは、経験からの学習により自動で改善するコンピューターアルゴリズムもしくはその研究領域で [1] [2] 、人工知能の一種であるとみなされている。「訓練データ」もしくは「学習データ

機械学習とは | Microsoft Azure

機械学習の概念を概説します。機械学習の概要、機械学習のしくみ、機械学習プラットフォームに求める内容を確認できます。

機械学習とは | SAS

機械学習とは、コンピューターがデータから反復的に学習し、そこに潜むパターンを見つけ出すことです。そして学習した結果を新たなデータにあてはめることで、パターンにしたがって将来を予測することができます。人手によるプログラミングで実装していたアルゴリズムを、大量のデータから自動的に構築可能になるため、さまざまな分野で応用されています。

【機械学習とは？】種類別に簡単にわかりやすく紹介 ...

「機械学習」という言葉を聞いたことがありますか？人工知能（AI）ブームを理解するための基本である「機械学習」について、種類別にわかりやすく解説しています。機械学習とディープラーニングの違いや、DQNについても簡単に解説しています。AI時代を生きる皆さんは必読の記事です。

機械学習とは？これだけは知っておきたい3つのこと - MATLAB ...

機械学習とは何か？なぜ重要なのか？仕組み、ビジネス活用事例、学習/習得法、アルゴリズムを分かりやすく解説。また、人工知能（AI）やディープラーニングとの違いについても説明します。

機械学習とは？初心者でも理解しやすく簡単解説！

「機械学習によって業務の効率化や売上アップができないか」「自社データを機械学習に有効活用できないか」など、機械学習に注目する企業が増えています。 この記事では、機械学習とは何か、機械学習で実現できることなどをわかりやすく解説します。具体的な企業の事例や機械学習を使うために必要なスキルなども紹介するので、機械学習を活用したい場合はぜひ参考にしてください。

【保存版】機械学習とは | 意味や仕組み・勉強方法を徹底解説 ...

AI（人工知能）を支える技術である「機械学習」。本稿では、機械学習の意味やディープラーニングとの違い、教師あり学習、教師なし学習、強化学習などの学習手法、仕組みについて解説。さらに、機械学習の実際の活用事例や、学習方法もご紹介します。

機械学習を入門するための完全ロードマップ！基本をわかり ...

この記事では「 機械学習を入門するための完全ロードマップ！基本をわかりやすく解説 」といった内容について、誰でも理解できるように解説します。この記事を読めば、あなたの悩みが解決するだけじゃなく、新たな気付きも発見できることでしょう。お悩みの方はぜひご一読ください。

一から始める機械学習（機械学習概要） - Qiita

 · 機械学習とは大量のデータに対し、そこに潜むパターンを覚えさせ（学習）、未知のデータを判断するルール（モデル）を獲得させることである。 現在において、機械学習は金融工学、画像処理、自動運転、生物学など様々な分野に影響を

機械学習とは簡単にいうと何？深層学習（ディープラーニング ...

人工知能（AI)には「機械学習」と「深層学習」というものがあることをご存知でしょうか。現在、多くの人工知能に採用されているのは機械学習の機能です。 今回は、現在もっとも多く採用されている機械学習について、その基本的な仕組みや活用事例などを中心に詳しく紹介していきます。

機械学習をどこよりもわかりやすく解説！ 教師ありなし学習 ...

 · Pythonは機械学習で最も使われているプログラミング言語のことです。

結局、機械学習と統計学は何が違うのか？ - Qiita

 · 機械学習とはおおまかにいうとハイブリッドな分野です。

機械学習／ディープラーニングの「数学」が学べるオススメ本 ...

機械学習やディープラーニングに必要な数学項目をピックアップし、そういった項目を教科書的〜実践的にカバーしているオススメの「数学」本を紹介する。また中学〜大学までの数学全体を学び直したい人向けの本も紹介。

機械学習とは - コトバンク

世界大百科事典 第２版 - 機械学習の用語解説 - コンピューターやロボットなどの機械に自動的に概念や行動プログラムを学習させる研究分野。さまざまな分野で多岐にわたる手法が開発されているが，現状では，パラメーター調節などの特殊な場合を除いて，人間が直接知識を与える方法にまさる...

画像認識の機械学習を、無料で誰でも簡単に作れる「Microsoft ...

画像分類を行う機械学習モデルを「無料」で作成できるLobe。その機能と特徴を作業手順の流れで一通り解説。知識ゼロでもGUI操作で簡単に機械学習できるLobeを体感してみよう。

機械学習入門者が学ぶべきこと、学習方法を超具体的に解説し ...

 · 機械学習は、AIのブームを再燃させた2000年代で最もインパクトのある技術の一つとも言えるでしょう。

機械学習品質マネジメントガイドライン - AIST

Rev. 1.0.2.0037.1 (2021/03/09) 機械学習品質マネジメントガイドライン 第 1 版 2020 年6 月30 日 （訂補 2 版: 2021 年3 月9 日） 国立研究開発法人産業技術総合研究所 サイバーフィジカルセキュリティ研究センター テクニカルレポート

【徹底解説】機械学習（マシンラーニング）とは！概念を理解 ...

初心者向けに機械学習（マシンラーニング）とは何か詳しく解説しています。まずはここから理解しましょう。AI（人工知能）を構築する上で必須の機械学習。機械学習の種類やディープラーニングとの違いについて紹介しているので、ぜひ理解しておきましょう。

機械学習の仕組みと学習データ | Think IT（シンクイット）

はじめに 前回までは、現在の人工知能の基礎的な技術を理解するためにハードウェア、ライブラリ、AIプラットフォームといったベーシックな要素を見てきました。さて、今回からはいよいよ第2部に入ります。第1回でも紹介したように、第2部では「これからのAI」について語っていきます。今回は、機械学習の仕組みや人工知能をビジネスに活用するためのポイントについて解説します。 大量の質の良いデータが必要 現在、多くの人が「AIを使って何かをやりたい」と考えています。本来は「これをやりたいのでAIを使う」という順番で考えるべきですが、今の局面は”人工知能の活用”を前面に出してものを考えても良いと思います。

機械学習におすすめの本18選 | Pythonなど言語別・目的別に徹 …

この記事では「 機械学習におすすめの本18選 | Pythonなど言語別・目的別に徹底紹介 」といった内容について、誰でも理解できるように解説します。この記事を読めば、あなたの悩みが解決するだけじゃなく、新たな気付きも発見できることでしょう。お悩みの方はぜひご一読ください。

【Pythonで機械学習をはじめるなら？】Google colab がおすす …

pythonはプログラミング初学者でも比較的とっつきやすいプログラミング言語。 さらに、pythonは今後ますます需要が高まる機械学習（いわゆるAI）系の開発も得意なので、これからプログラミングの学習をはじめるならpyt […]

3-5：人工知能と機械学習

機械学習とは「データから規則性や判断基準を学習し、それに基づき未知のものを予測、判断する技術」と人工 知能に関わる分析技術を指しています。

キカガク｜AI・機械学習を学ぶ e ラーニングプラットフォーム ...

キカガクはAIを含めた最先端技術を最短距離で学ぶことができる学習プラットフォームです。今なら新規ユーザー登録（無料）で、Udemy でベストセラーの「脱ブラックボックスコース」完全版をプレゼント！「実務で使える」スキルを身に着け、次の時代に活躍する人材を目指しましょう。

機械学習入門者がおさえておくべき知識と勉強法｜TECH PLAY ...

近年、機械学習というキーワードをよく耳にします。これから機械学習を勉強する方もいると思います。しかし機械学習について詳しいことがわからない方も多いはずです。この記事では、機械学習入門者に向けて、機械学習でできることや勉強法を解説していきます。

機械学習とは？| オラクル | Oracle 日本

機械学習とは、人工知能（AI）の一分野であり、使用するデータに基づいて学習する（またはパフォーマンスを改善する）システムを構築することに主眼を置いている技術です。人工知能は、人間の知能を模倣したシステムや機械を指す、広い意味の言葉です。

「機械学習」と「ディープラーニング」は何が違うのか？ | …

2016年3月、Google傘下の人工知能（AI）会社であるDeepMindの「AlphaGo」が囲碁で韓国のトッププロ棋士に勝利しました。囲碁でAIが人に勝つまで発展するには、まだ10年以上かかると言われていたことからも世界の注目を集めました。

マスターアルゴリズム ー 世界を再構築する「究極の機械学習」

ペドロ・ドミンゴス著『The Master Algorithm』の翻訳書で，近年の人工知能技術の進展を支える機械学習についての解説書です．この機械学習について，計算機科学や統計学の高度な知識を前提とせずに，その内側に踏み込んで仕組みを明らかにし，この技術の可能性と課題を論じています．

自動で店舗単位の来客数予測モデルを作成する機械学習 ...

東芝デジタルソリューションズとDATAFLUCTは小売業の店舗単位での来客数予測モデルを機械学習で自動作成するサービスを発表した。両社がそれぞれ提供するクラウドデータベースサービスと自動機械学習プラットフォームを組み合わせることで、小売業のデータ活用を後押しする。

機械学習やPythonの基礎を学べる無料講座：AIニュースまと …

画像はUnsplashより 日々、目まぐるしく進化、発展を遂げる人工知能（AI）業界。さまざまな企業が新しいサービスを開始したり、実験に取り組んだりしている。 そこで本稿ではLedge.aiで取り上げた、これだけは知っておくべきAIに関する最新ニュースをお届けする。AIの活用事例はもちろん、新たな実証実験にま

【機械学習】教師なし学習K-means法を実装してみる 理論編 ...

教師なし学習 K-means法 概要とイメージ K-means法の理論 ①初期値の設定 ②クラス指示変数の更新 ③中心ベクトルの更新 ④再度クラス指示変数の更新 ⑤相互更新の繰り返し

機械学習の原理を、基礎から図解で説明 | TickTack World

機械学習の原理を、数式をできるだけ使わずに、分かりやすく説明します。線形回帰モデル、クラス分類、クラスタリング、レコメンデーション、過学習を図解して解説。教師あり学習と教師なし学習の違いなど。

【2020年版】課題から探すAI・機械学習の最新事例52選 | 宙畑

世の中の企業がどのように機械学習を活用しているのか事例を知り、業界全体や自社の目の前の業務で抱えている課題解決に活かせるかを考えるきっかけとなるよう、52種類の事例を紹介します。

機械学習とディープラーニングとは その1 | IoT NEWS

IoTをゼロベースで考えるの第20回は「機械学習」と「ディープラーニング」についてだ。 この言葉、I…

【機械学習】AIとは？ | 機械学習とAIの関係/機械学習入門 ...

→第２回　機械学習入門 / k最近傍法https://youtu.be/4Vk1UhRDB34ご視聴ありがとうございます。私は普段、AIエンジニア/データサイエンティストとして活動しています。このチャンネルでは、たくさんの人にAIの可能性を知っていただくことや、日々の学習の成果を視聴者の皆様とシェアしていくことを...

DATAFLUCT、ノーコードで機械学習モデルを構築できるマルチ ...

発表日:2021年04月27日ノーコードで機械学習モデルを構築できるマルチクラウド環境のAutoMLツール『DATAFLUCT cloud terminal.』をリニューアル、5/12から順次機能を追加Google BigQueryをはじめとしたクラウドサービスとの連携強化、UI/UXの大幅改善など機能性と操作性を向上させ、より多様なユーザーと用途をカバーできる機械学習プラットフォームへ＊参考画

Amazon.co.jp: 機械学習

いちばんやさしい機械学習プロジェクトの教本 人気講師が教える仕事にAIを導入する方法 「いちばんやさしい教本」シリーズ [第2版]Python機械学習プログラミング 達人データサイエンティストによる理論と実践 impress top gearシリーズ

機械学習を始めたくなる！機械学習アルゴリズム解説スライド ...

機械学習の案件を提案してもらう Deep Learning Deep Learningは、人間の脳のような学習を行うニューラルネットワークの層が複数層にも重なった機構を持つアルゴリズムです。Googleによる、「コンピュータが猫を認識できるようになった」という有名な事例をはじめ、Deep Learningといえば画像認識 ...

機械学習とディープラーニング、どちらを使えばいいのか：AI ...

研究開発プロジェクトを先に進めるためにどのようなAI技術を使用すればいいのだろうか。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明する。 (1/2)

ノーコードで機械学習モデルを構築できるマルチクラウド環境 ...

株式会社DATAFLUCTのプレスリリース（2021年4月27日 13時00分）ノーコードで機械学習モデルを構築できるマルチクラウド環境のAutoMLツール『DATAFLUCT cloud terminal.』をリニューアル、5/12から順次機能を追加

ネットアップがNVIDIA・富士通とのAI／機械学習向けデータ管 …

ネットアップ合同会社（本社：東京都中央区、代表執行役員社長：中島シハブ、以下：ネットアップ）は、従来からNVIDIA・富士通株式会社とAI／機械学習向けデータ管理ソリューション分野で技術協力を行ってきました。このたび3社は本協業を強化し、富士通から提供開始されるMLOpsソリューションに、ネットアップのAI／機械学習デ...

機械学習モデル | DataRobot 人工知能 Wiki

データサイエンスと機械学習の文脈で、モデルの概要と、自動機械学習によって機械学習モデルの構築が容易になる理由を学習します。

機械学習とは | データアーティスト株式会社 | AI (人工知能）

機械学習は英語で「Machine Learning」といいます。先日は「AI」の概要などを説明させていただきましたが、今回は最近大きな話題となっているAIの分野である「機械学習」をできるだけ分かりすく説明することにしました。少しでも、皆さまの参考になればと心から願っております。

ラズパイで機械学習モデル構築を容易に--Edge Impulseの ...

「Raspberry Pi」を使った組み込み機械学習アプリケーションの構築がEdge Impulseのクラウドベースの開発プラットフォームを利用することで容易になる可能性がある。

機械設計学習館

メーカー勤務の機械設計者(外装・機構設計)が、調べた知識や学んだことをまとめているサイトです。自分が調べた事や業務で学んだ汎用的知識は、きっと他の人にも役立つだろうという事で、まとめて公開していくことにしました。

いくつ知っている？ 機械学習の5つの用途は回帰、分類 ...

ディープラーニングに代表される機械学習が、数式が苦手な人でも“ざっくり分かる”連載講座。第2回は機械学習の5つの代表的な用途を整理して紹介する。回帰、分類……、あなたはいくつ知っているだろうか。

機械学習 | gacco

JMOOC公認サービスであるgaccoでは大学講師陣による無料のオンライン講座を提供しています>。gaccoは日本初のMOOC（大規模オープンオンライン講座）として、多彩な講師陣を迎 えて新しい教育サービス>を提供します。

機械学習入門 ボルツマン機械学習から深層学習まで | 大関真之 ...

Amazonで大関真之の機械学習入門 ボルツマン機械学習から深層学習まで。アマゾンならポイント還元本が多数。大関真之作品ほか、お急ぎ便対象商品は当日お届けも可能。また機械学習入門 ボルツマン機械学習から深層学習までもアマゾン配送商品なら通常配送無料。

自動機械学習 | Microsoft Azure

機械学習モデルをより高速かつ正確に構築するための Azure 自動機械学習について説明します。AutoML を探索して、開発を高速化しましょう。

機械学習エンジニアとは？仕事内容、スキル、将来性を徹底 ...

 · 機械学習エンジニアとは？仕事内容、スキル、将来性を徹底解説 AI開発に携わる仕事としてAIエンジニアが人気を集めています。今回紹介する「機械学習エンジニア（MLエンジニア）」は、AIエンジニアに分類される職業のひとつです。

AI、機械学習、ディープラーニングの違いを説明できますか ...

　AIサービスに携わっていると時折目のあたりにするのが、「AI、機械学習、ディープラーニングってどう違うんですか？」や「そもそも機械学習ってなんですか？　統計とどう違うんですか？」という質問だ。これはAI関連の用語が突如大量に現れたからこその現象だと思うが、言葉の定義や意味合いの理解がバラバラである状態というのはやはりよろしくない。マーケティング業界の中でもAI活用がよりスムーズに進むことを願い、キーワードについて整理しておく。