テキストモデレーションへの異なるアプローチ

Tisaneは開発から約5年を迎えました。アーキテクチャにより、Tisaneは他のテキストモデレーションツールとは一線を画しています。初期の頃は、これまでにないアプローチに自信がありませんでしたが、今では十分な実績と自信を築き、世に出す準備が整いました。

全体像

現在、ほとんどのテキストモデレーションAPIは、機械学習分類器またはキーワード検索型のルールベースエンジンですが、Tisaneはどちらにも該当しません。

Tisaneは語義の曖昧性解消プラットフォームです。テキストを入力として受け取り、ナレッジグラフを生成します。ナレッジグラフのノードには単語ではなく語意が含まれます。つまり、現在の文脈における語彙項目とその解釈の組み合わせです。

次に、グラフノードの制約の組み合わせに基づいてラベルが生成されます。これらのラベルは、エンティティタイプ、感情的価値、または問題のあるコンテンツに関するアラートなど、あらゆるものです。これは、単一で解釈可能なアーキテクチャに基づく、spaCyのような多目的エンジンと考えることができます。

しかし、その理由は？

要約：大多数のソリューションには数え切れないほど多くの欠陥があるためです。

単純なキーワードやブロックリストに基づくソリューション（いわゆるclbuttic）は、アクセス数の少ないコミュニティでの単純なタスクの処理には有効かもしれませんが、より大規模で複雑なものを管理するとなると、まさに地獄のような状況になります（思春期の頃の気持ちで、具体的な例を読んでください）。最も重要な点は、多くの問題は「悪い言葉」ではなく中立的な言葉の「悪い組み合わせ」にあります。

このような理由から、より文脈に即した対応が可能な手段として、2010年代後半から機械学習によるソリューションが主流になりました。 新たなパラダイムにより望ましくないコンテンツを検出する新たな方法が得られた一方で、さらなる問題も生み出しました。おそらく、最大の問題は、ソーシャルネットワークに対する敵対感情が指数関数的に増加している点です。Bag of Wordsに頼るアプローチでは、「私は黒人のセックスワーカーです」といった発言が差別的と解釈されてしまう可能性があります。微調整やバランス調整で精度を多少改善することは可能ですが、説明なしにメッセージがブラックリストに登録されたユーザーの信頼が回復することはありません。

主要言語向けの機械学習分類器の開発は、コストが掛かり非常に大変な作業です。一方で、データが少ない言語へのトリクルダウンはさらに困難でした。例えば、Facebookのような巨大企業でさえ、ヒンディー語のような話者が非常に多い言語に対して2021年まで分類器を導入できていませんでした。

しかし、それだけではありません。

徹底した透明性

つい先日、元Googleの安全性責任者であるアージュン・ナラヤン氏が、AIのブラックボックス化を重大な課題の一つであると指摘しました。これは決して新しい話題でも、議論の的になるようなものでもありません。2022年末、シリコンバレーの投資家であるシュリラム・クリシュナン氏が透明性のあるモデレーション案について語った際、マーク・キューバン氏は「AIがブラックボックス化されており、『監査が困難』であることが障害だ」と反論しました。

ご存知の通り、不透明性は機械学習に組み込まれています。機械学習が提供できる最も明確な説明は、機械学習の決定に影響を与えたノードを特定することです。残りの部分は追跡不能で、膨大な次元のマトリクス同士が掛け合わされたものです。

73%の確率で「悪い子」

今の時代にカフカが『Der Process（邦題：審判）』を執筆していたなら、信頼値に相当するものを登場させるでしょう。なぜなら、ブラックボックスによる判断だけでは恐ろしさが足りず、ブラックボックスとサイコロの組み合わせによって恐怖が生まれます。

人間の行動を「悪い子」と「良い子」に分類する考え方は、サンタクロースにはぴったりかもしれませんが、トラスト＆セーフティ担当者には、それ以上の対応が求められます。また、自分の判断とサイコロの目を組み合わせるのはサディスティックなサンタクロースだけでしょう「うーん、信頼値は73%か…多分『悪い子』だ。72.98％だったら、Mechanical Turkのエルフたちの再確認が必要だね」

Tisaneは、モデレーションプロセス全体を信頼値に依存しているお客様を見てきました。分類器と人間のモデレーター双方とも誤って「有罪」寄りに判断しがち（カフカの別の著書 の登場人物が言うように「罪は決して疑ってはならない」）ため、投稿者は漏れのある抽象化の典型例として、習慣を適応せざるを得ませんでした。彼らは「ファシスト」のような言葉を難読化し、人種差別を指摘した後に「なぜBANされたのか」と困惑した投稿をし、再びBANされるといった具合です。

業界のリーダーであるGrindrのアリス・ゴーゲン・ハンスバーガー氏は、「機械学習モデルが高い信頼性を有しているものの、実際は誤っていることは珍しくなく、人間のモデレーターはそれに惑わされてはなりません」と述べています。

（駄洒落になりますが）信頼値における信頼の欠如のように聞こえますが、同氏だけがそのように感じているわけではありません。

信頼値は単なるセキュリティシアターに過ぎず、自動化バイアスなどの危険を招きます。理想の世界では、倫理学の博士号を持つ人間のモデレーターが重大な哲学的問題を議論していますが、現実の世界では、彼らは低賃金で働かされる学生で、できるだけ早くタスクを完了するように強く促されています。「コンピュータがノーと言う」場合、ほとんどの場合、人間のモデレーターもノーと言うことになります。

釘ではないなら、ハンマーを捨てよ

明らかに、テキスト中に恣意的に定義された「有害なコンテンツ」を見つけることは、単なる「分類タスク」ではありません。人々にペナルティを与え、BANする適切なプラットフォームは、自己説明の責任を果たす必要があります。それは、常に変化し拡大するニーズに適応する必要があります。また、訓練データがほとんどないか全くない状況でも機能する必要があります。さらに、大規模なモデルの再訓練を必要とせずに、使いやすくて更新可能なものでなければなく、リソースの無駄遣いやリグレッションのリスクを回避できます。

つまり、ブラックボックスパラダイムはテキストモデレーションエンジンには適していません。さらに、大規模なスイッチケース文の論理は、一般にカーブフィッティングには適していません。

そこで、トラスト＆セーフティ担当者は、現行のブラックボックスエンジンの欠点を補う方法を見出しました。しかし、周りを見てください。政治的・社会的立場を問わず不満は至る所に存在しています。そして、Twitterのようなトップクラスのコミュニティでさえ、キーワードに基づく意思決定フローに逆行しています。状況を改善し、認識されている不正を是正するための法律の草案が作成されているところです。トラスト＆セーフティの世界的な権威たちは、ツールが彼らのニーズに不十分だと指摘しています。反対意見はプロセス全体を標的としていますが、根本的な問題は不安定な技術基盤にあります。

結局、Tisaneとは何ですか？

「機械学習は適していないし、キーワードも不十分だと言っていますが、何を構築したのですか？」

Tisaneはナレッジグラフソリューションですが、同種のソリューションよりもはるかに詳細なものです。アーキテクチャとしては、seq2seqのシンボリックな対応物と見なすことができます。Tisaneの言語モデルには、多様なソースから統合された、形態論的、統語論的、意味論的な機能の豊富なセットが含まれています。ランタイムがシンボリックで解釈可能であるため、フローを完全に制御でき、任意の段階で新しいデバイスを導入できます。

もちろん、こうしたエンジンと専用の言語モデルを一緒に構築することは、言うは易く行うは難しです。少し年配の方なら、このような多目的装置を構築する試みがほとんど失敗に終わったことをご存知かもしれません。 このアーキテクチャに精通した人なら誰でも知っているように、これはまさに障害物競走のマラソンで、参加者が次々と脱落していくようなものです。しかし、「ショーシャンクの空に」で登場したような下水管内を通っての脱出のような困難な段階を終えると、物事が格段に簡単になり、他のエンジンでは何年もかかる新機能の追加が取るに足りない作業になるということは、構築を試みた人の5%しか知らないのです。

では、従来の方法にとらわれないアプローチで何を得たのでしょうか？

アルゴリズムの透明性

主な要件は以下のとおりです。

• 実際の問題を明確に指摘する
• それが問題だと考える理由を説明する

Tisaneは、問題のある断片を特定し、必要に応じてその断片が問題だと考える理由を人間が判読可能な形で説明します。

どのように実現可能なのでしょうか？言語構築プロセスの他の部分と同様に、Tisaneの設計ワークフローは、高度に効率的な形式化手法を用いた自動化技術および専門家の入力を組み合わせたアプローチを採用しています（ランタイムはシンボリックですが、デザイナープラットフォームは文字通り多種多様です！） クエリはパースツリーの特定のノードを対象とします。つまり、文章が文法的に正しいか、それに近いものであれば、散在する名詞や副詞なども組み入れられている可能性があります。クエリは言語を跨ぎます。1つの当該クエリが1つの言語で数千の組み合わせを対象とするため、対応する言語の数で全対象範囲を乗算します。クエリはデータ抽出用のピンセットのように、非常に具体的で複雑になることがあります。

Tisaneでは、人間のモデレーターは巨大なテキストの壁をスキャンして「コンピュータがノーと言う」理由を理解するために頭を悩ませる必要はありません。Tisaneは、EUデジタルサービス法やその他のフレームワークの要件に従い、その判断の根拠を提供します。モデレーターの役割は、異質なロジックを解明する裁判官や執行官の役割ではなく、サニタリーチェックに限定されます。Tisaneが誤りを犯した場合、それを隠蔽するのではなく、明確に示します。

それでは不十分で、プロセスの詳細な解析が必要な場合、言語モデル設計者は、プロセスをステップバイステップで再現し、関与する構造のデバッグ情報を生成する専用のウェブベースのデバッガーを利用します。

柔軟性とメンテナンス：予測可能

ソフトウェアのライフサイクルコストの60%がメンテナンスに費やされることはよく知られています。 ブラックボックス型の機械学習エンジンでは、モデル全体を再訓練する必要が毎回生じるため、コストはさらに増加します。欠陥を排除するためにモデルを再訓練する試みは、リグレッションを引き起こすおそれがあり、一貫性を制御することが困難または不可能になる場合があります。これは、『フォレスト・ガンプ』の台詞の「チョコレートの箱（予測不能なものの比喩）」のようなものですが、誰も望まない種類のものです。

一方、Tisaneの処理フローは予測可能です。これは、リグレッションが全く発生しないことを意味するわけではありません。ソフトウェアである以上、発生する可能性はあります。しかし、すべての不一致は追跡可能であり、最終的に解決可能です。設計表から言語モデルを生成するプロセス（「コンパイル」と呼んでいます）は、GPUなしの標準的なマシンで数分で完了します（メタデータの場合は数秒です）。

粒度

すべてが構造化されると、単語の意味ノードに機能を追加することは容易になります。例えば、ヘイトスピーチの場合、ほとんどのエンジンは既に「ヘイトスピーチ」というタグ（2010年代半ばの一般的な「有害」ラベルではなく）を付けるように移行しています。Tisaneはさらに一歩進め、偏見のサブタイプ（例：イスラムフォビア、ホモフォビア、ゼノフォビアなど）も追加しています。

それはどのようにして生まれたのでしょうか？お客様から可能かどうか尋ねられ、ルートノードのマッピングに数時間かかりましたが、残りは自動的に展開されました。

要件は予想以上に急速に増加するため、単に新しい機能を追加するわけではありません。新しいモデルを毎回構築する必要はなく、既存のモデルにいくつかの機能を追加するだけです。

クラウドプロバイダーはTisaneを嫌がる

Tisaneは解析中、数多くの仮定を検証し、単純な構文解析器や品詞タグ付けツールよりもはるかにリソースを消費します。実際、これらのタスクは解析プロセスに組み込まれています。しかし、機械学習モデレーションエンジンほどのCPUやRAMの消費量には及びません。

Tisaneのランタイムはクロスプラットフォーム対応のPOSIX C++で構築されており、Linux、Windows用のネイティブエディションが用意されており、将来的に他のOSにも対応する可能性があります。デバイスへのデプロイが可能なほど軽く、一部のお客様は実際にそのようにご利用されています。

Last but not least, Tisane is an energy efficient C++ application, with C++が極めてエネルギー効率の高いプログラミング言語の一つとして一貫して評価されています。AWS、Azure、Nvidiaにとっては残念かもしれませんが、Tisaneはエネルギー消費の多い競合他社に比べてはるかに少ない二酸化炭素排出量に貢献し、オンプレミスのお客様とTisaneのホスティング費用を大幅に節約しています。

言語のトリクルダウン経済学

Tisaneの言語モデル設計モジュールは、異なるソースからの入力（ファジーマッチング、ガイド付きインポート、および手動の専門家入力）を組み合わせるように設計されています（さらに生成AIも利用可能です。詳細は後述）。これらの手法はベンチマークに利用可能ですが、学習にタグ付けされたデータセットは必須ではありません。（出発点として）ウィキデータのようなソースを活用し、曖昧なケースでは専門家による入力を追加することで拡張可能です。

これにより、ニッチな言語やデータが少ない言語に対応する際に、大きな可能性が開けます。トレーニングセットは一つのパッケージや（再度）ブラックボックスとして提供される必要はありません。十分なデータが「トリクルダウン」するのを何十年も待つ必要はありません。

多段階検出

信頼性と安全性に関するタスクの多くでは、ロジックは1つの文で確認される場合もあれば、その直前の文で確認される場合もあります。しかし、一部のケースではより複雑です。

次の発言を考えてみましょう。「あなたの両親は今どこにいますか？」この発言だけでは、問題となる十分な文脈がありません。これは、2人の子供が両親について話している場合もあれば、修理業者が世帯主の所在を尋ねている場合もあります。次に、別の発言「カメラをオンにできますか？」を考えてみましょう。この発言単体では、悪意のある意図を必ずしも示唆しません。職場の同僚同士の会話から出たものかもしれません。しかし、両親の所在を尋ねる発話に続いてカメラをオンにするよう要求された場合、アラートを発する意味が大いにあります。

Tisaneは、外部または内部で設定可能なフラグを活用し、複数のシグナルが要求される場合に、証拠の断片を蓄積します。

特定のコンテキスト：ゲームの裏切り

同じフラグメカニズムは、誤検知の削減にも役立ちます。例えば、ゲームチャットや対戦に関するチャットでは、「彼を撃て！」や「お前をぶっ飛ばすぞ」といった表現は完全に許容され、悪意の兆候ではありません。

Tisaneには、「対戦で用いられる言葉」がアラートをトリガーしないようにする特別なフラグと、暗号化された言語を解析するメカニズムが備わっています。

将来への対応

ChatGPTによって生成AIが注目された時、Tisaneも多くの人々と同様に驚きや不安を感じました。しかし、それは長くは続きませんでした。

設計プラットフォームとランタイムの分離により、デザインプラットフォームに将来登場するあらゆる技術を組み込むことが可能となり、同じフォーマットを維持しつつ、より正確な抽出と新たな機能を生み出すことができます。例えば、Tisaneは生成AIを活用してナレッジグラフの変更を提案したり、異常を修正したりしています。

ある意味、Tisaneは「LLMのスナップショット」と手動調整の組み合わせを創造し、両方の長所を享受しています。決定論的で効率的なTisaneと、元のTisane言語モデルでは不足していたエッジケースのカバー範囲です。また、Tisaneを「トロイの木馬」として活用し、企業に生成AIの機能を組み込むことも可能です。

結論

もはや、このようなアーキテクチャが実現可能かどうか、またはより脆弱であるかどうかを問われる時代ではありません。Tisaneは、それが実現可能であり、堅牢であり、最も重要な点として、他のパラダイムでは解決できない慢性的な課題を解決することを証明してきました。

エンティティのトラバーサル可能な決定論的グラフは、信頼性と安全性を超えた独自の利点を提供できるでしょうか？Tisaneは既に決定論性、説明可能性、データ経済性が不可欠な法執行機関や国家安全保障の分野で積極的に活用されています。他の将来的な応用についても開かれています。

この投稿で議論されたトピックについてご質問やご感想はございますか？コメントを残すか、お問い合わせください。喜んでお手伝いいたします！