データ操作プラットフォーム（上海はコーパスデータの「収集、クリーニング、ラベル付け、テスト、使用」を実現できる「コーパス操作プラットフォーム1.0」をリリースしました）

上海はコーパスデータの「収集、クリーニング、ラベル付け、テスト、利用」を実現できる「コーパス運用プラットフォーム1.0」をリリース

2024年7月6日、「2024年世界人工知能大会コーパステーマフォーラム」が上海で開催されました。会議では、いくつかの機関が共同で「コーパス運用プラットフォーム1.0」と一連のコーパス製品を発表しました。さらに、同フォーラムでは「コーパス構築ガイドライン」も発表された。会議では50以上の団体が共同でビッグモデルにサービスを提供するコーパスエコシステムの持続可能な開発イニシアチブを立ち上げ、各関係者が協力してビッグモデル業界の発展のために高品質のコーパスを継続的に提供するよう呼びかけました。

報道によると、「コーパス運用プラットフォーム1.0」は、コーパスデータに対して「収集、クリーニング、ラベル付け、テスト、使用」という5つのツールチェーン機能を実現できるという。 「コーパス構築ガイドライン」では、生データから完成したコーパスまでの方法論を明確にし、金融、ライフサイエンス、教育などの業界のコーパスに関する技術ホワイトペーパーを公開して、関連するコーパスデータの収集と使用をさらにガイドします。

コーパス データは、大規模なモデル トレーニングの重要な「燃料」です。あらゆる分野での大規模モデルの応用には、高品質のコーパスが不可欠です。これにより、大規模なモデルが実際のアプリケーション シナリオに適応しやすくなり、人工知能によって何千もの業界を強化するという目標の実現が加速されます。

近年、上海市は、高品質、大規模、安全で信頼性の高いコーパスデータリソースに対するビッグモデル開発のニーズを満たすために、共同構築と共有の面でビッグモデルコーパスデータアライアンスを設立し、複数の主体が共同でハイレベルのコーパスデータ要素の構築を推進することを奨励するなど、さまざまな面で一連の措置を講じてきました。インフラ構築の面では、データ要素の潜在能力を活性化し、一連の高品質なコーパスリソースをオープンソース化します。プラットフォーム構築の面では、市場志向のコーパスプラットフォームを構築し、大規模モデルコーパスの「スーパーファクトリー」を創設します。

上海市政府副秘書長の荘牧迪氏は、「上海はコーパスの応用シナリオを強化し、大規模モデルのトレーニングニーズに重点を置き、マルチナレッジ、マルチモダリティ、標準化を備えた高品質のコーパスデータの供給を確保し、大規模モデル産業アプリケーションの実装を可能にする」と述べた。