GiNZA logo

GiNZAの公開ページ

Tweet   Downloads

GiNZAをアップグレードする際は下記の互換性情報を確認してください。

GiNZAの解析モデルは、株式会社リクルートと国立国語研究所の共同研究プロジェクトの成果の一部として公開されています。

What’s new!

GiNZA v5.3 互換性情報

GiNZA v5 新機能

日本語の節認定API (experimental)

GiNZA v5.2.0で日本語の節認定機能（試用版）を実装しました。

ginzaコマンドの実行結果のconllu出力のmisc列を拡張して、各トークンが属する節のヘッドのトークン番号をClauseHeadフィールドで示しています。

APIには次の関数を追加しました。

現在の節認定の実装は次のような簡易なもので、今後さらに改良を行う予定です。

Transformersモデルによる解析精度の向上

GiNZA v5の解析精度は以前のバージョンから飛躍的な向上を遂げました。精度向上の主たる貢献はTransformers事前学習モデルの導入にあります。次の図は、UD_Japanese-BCCWJ r2.8における、従来型モデルのja_ginzaと、Transformers事前学習モデルを用いたja_ginza_electraの、依存関係ラベリングおよび単語依存構造解析の学習曲線です。

LAS UAS

次の表はUD_Japanese-BCCWJ r2.8で5万ステップ学習した時点でのテストセットでの依存関係ラベリング精度(LAS:Labeled Attachment Score)、単語依存構造解析精度(UAS:Unlabeled Attachment Score)、UD品詞推定精度(UPOS)、拡張固有表現抽出精度(ENE)の比較です。

Model LAS UAS UPOS ENE
ja_ginza_bert_large 93.8 94.9 98.3 70.8
ja_ginza_electra 92.3 93.7 98.1 61.3
ja_ginza (v5) 89.2 91.1 97.0 53.9
ja_ginza (v4相当) 89.0 91.0 95.1 53.1

ja_ginza_bert_largeはja_ginzaに対して、依存関係ラベリング・単語依存構造解析の誤りを4割以上低減できました。

関根の拡張固有表現階層を用いた拡張固有表現抽出精度(ENE)においてもja_ginza_bert_largeは大幅な精度向上が得られています。GiNZAは関根の拡張固有表現階層にもとづく固有表現抽出結果を、spaCyで標準的に用いられるOntoNotes5にマッピング(変換表を適用)して出力しています。OntoNotes5は関根の拡張固有表現階層よりカテゴリ数が非常に少ない(粗い)ため、拡張固有表現をOntoNotes5体系にマッピングした場合の固有表現抽出精度は、拡張固有表現での数値より一般に高くなります。

※各モデルの学習と解析精度評価にはUD_Japanese-BCCWJ r2.8から新聞記事系のテキストを除外したものをSudachi辞書mode C(長単位)で再解析(retokenize)した上で、文節主辞情報を依存関係ラベルに組み合わせた状態のコーパスを用いています。

実行環境

GiNZAは Python 3.10以上で動作検証を行っています。 GiNZAをインストールする前に予めPython実行環境を構築してください。

GiNZAのセットアップ

[!NOTE] GiNZAによる依存構造解析処理は、GPUで大幅に高速化することができます。 Apple Siliconで動作するMac OS環境では、デフォルトでハードウェアアクセラレーションが有効化されます。 詳細は 3. GPUの有効化 を参照してください。

1. Transformersモデル

[!NOTE] Transformersモデルの実行は、メモリ容量16GB以上の環境を推奨します。 メモリ容量が不足する場合は後述の従来型モデルをお試しください。

次のいずれかのコマンドを実行して、Transformersモデル（ja_ginza_electra または ja_ginza_bert_large）をインストールします。 （GiNZAおよびTransformers関連ライブラリも同時にインストールされます。）

$ pip install -U ja_ginza_electra

$ pip install -U ja_ginza_bert_electra

[!NOTE] 上記コマンドでインストールされるモデルパッケージには、容量の大きいTransformersモデルやトークナイザは含まれていません。 これらの大容量のファイルは初回実行時に自動的にHugging Face Hubからダウンロードされて、以降の実行時にはローカルにキャッシュされたファイルが使用されます。 初回実行時は初期化処理のため起動に数秒〜数十秒かかります。

2. 従来型モデル

次のコマンドを実行して、従来型モデル（ja_ginza）をインストールします。 （GiNZA関連ライブラリも同時にインストールされます。）

$ pip install -U ja_ginza

3. GPUの有効化

Apple Siliconで動作するMac OS環境では、次の条件を満たす場合に自動でハードウェアアクセラレーションが有効化されます。

Linux OS環境でNVIDIA GPUによるアクセラレーションを有効化するには、LinuxにCUDAをインストールし、export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH のように環境変数 LD_LIBRARY_PATH にCUDAライブラリのパスを追加した上で、次のようにCUDAバージョンをextrasに指定してginzaパッケージのインストールを行います。

ginzaコマンドは、GPUが利用可能な場合はデフォルトでGPUアクセラレーションを有効化します。

ginzaコマンドの-gオプションで、使用するGPUのデバイス番号を指定することができます（-1を指定するとGPUアクセラレーションは無効化されます）。

$ ginza -g 0

ginzaコマンドを-gオプションなしで実行する際、GPUアクセラレーションが有効化された場合は次のログが最初に出力されます。

$ ginza
GPU #0 enabled

Apple Siliconで動作するMac OS環境で従来型モデルを実行する際、ハードウェアアクセラレーションが有効化された場合は次のログが最初に出力されます。

$ ginza
thinc-apple-ops enabled

ginzaコマンドによる解析処理の実行

ginzaコマンドを実行して、日本語の文に続けてEnterを入力すると、CoNLL-U Syntactic Annotation 形式で解析結果が出力されます。

$ ginza
銀座でランチをご一緒しましょう。
# text = 銀座でランチをご一緒しましょう。
1       銀座    銀座    PROPN   名詞-固有名詞-地名-一般 _       6       nmod    _       SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ギンザ|NE=B-GPE|ENE=B-City|ClauseHead=6
2       で      で      ADP     助詞-格助詞     _       1       case    _       SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=デ|ClauseHead=6
3       ランチ  ランチ  NOUN    名詞-普通名詞-一般      _       6       obj     _       SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ランチ|ClauseHead=6
4       を      を      ADP     助詞-格助詞     _       3       case    _       SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Reading=ヲ|ClauseHead=6
5       ご      ご      NOUN    接頭辞  _       6       compound        _       SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=CONT|NP_B|Reading=ゴ|ClauseHead=6
6       一緒    一緒    NOUN    名詞-普通名詞-サ変可能  _       0       root    _       SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=ROOT|NP_I|Reading=イッショ|ClauseHead=6
7       し      する    AUX     動詞-非自立可能 _       6       aux     _       SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=サ行変格,連用形-一般|Reading=シ|ClauseHead=6
8       ましょう        ます    AUX     助動詞  _       6       aux     _       SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=SYN_HEAD|Inf=助動詞-マス,意志推量形|Reading=マショウ|ClauseHead=6
9       。      。      PUNCT   補助記号-句点   _       6       punct   _       SpaceAfter=No|BunsetuBILabel=I|BunsetuPositionType=CONT|Reading=。|ClauseHead=6

実行環境に複数のモデルパッケージがインストールされている場合、ginzaコマンドは解析精度が高いものを優先して使用します。モデルパッケージを明示的に指定して使用するには-mオプションでモデルパッケージ名を指定します。

# ginza -m ja_ginza

また、spaCyが提供している様々な言語の解析モデルの名称を-mオプションに指定することで、そのモデルのダウンロードと解析をまとめて実行することができます。

# ginza -m en_core_web_trf

Pythonコードによる解析処理の実行

次のコードは、Transformersモデルによる依存構造解析結果を文単位で出力します。 他のモデルパッケージを用いる場合はja_ginza_electraの部分を目的のモデルに置き換えます。

import spacy
nlp = spacy.load('ja_ginza_electra')
doc = nlp('銀座でランチをご一緒しましょう。')
for sent in doc.sents:
    for token in sent:
        print(
            token.i,
            token.orth_,
            token.lemma_,
            token.norm_,
            token.morph.get("Reading"),
            token.pos_,
            token.morph.get("Inflection"),
            token.tag_,
            token.dep_,
            token.head.i,
        )
    print('EOS')

解説資料

マニュアル

講演資料

論文

解説記事

ライセンス

GiNZA NLPライブラリおよびGiNZA日本語Universal Dependenciesモデルは The MIT Licenseのもとで公開されています。 利用にはThe MIT Licenseに合意し、規約を遵守する必要があります。

Explosion/ spaCy

GiNZAはspaCyをNLP Frameworkとして使用しています。

spaCy LICENSE PAGE

Works Applications Enterprise / Sudachi/SudachiPy - SudachiDict - chiVe

GiNZAはトークン化（形態素解析）処理にSudachiPyを、単語ベクトル表現にchiVeを使用することで、高い解析精度を得ています。

Sudachi LICENSE PAGE, SudachiPy LICENSE PAGE, SudachiDict LEGAL PAGE, chiVe LICENSE PAGE

Hugging Face / transformers

GiNZA v5 TransformersモデルはHugging Face社が提供するtransformersを推論フレームワークに用いています。

transformers LICENSE PAGE

訓練コーパス

UD Japanese BCCWJ r2.8

GiNZA v5の依存構造解析モデルは UD Japanese BCCWJ r2.8 (Omura and Asahara:2018) から新聞系文書を除外して学習しています。

@inproceedings{omura-asahara-2018-ud,
    title = "{UD}-{J}apanese {BCCWJ}: {U}niversal {D}ependencies Annotation for the {B}alanced {C}orpus of {C}ontemporary {W}ritten {J}apanese",
    author = "Omura, Mai  and
      Asahara, Masayuki",
    booktitle = "Proceedings of the Second Workshop on Universal Dependencies ({UDW} 2018)",
    month = nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/W18-6014/",
    doi = "10.18653/v1/W18-6014",
    pages = "117--125"
}

GSK2014-A (2019) BCCWJ版

GiNZA v5の固有表現抽出モデルは GSK2014-A (2019) BCCWJ版 (橋本・乾・村上(2008)) から新聞系文書を除外して学習しています。 固有表現抽出ラベル体系は関根の拡張固有表現階層、 および、OntoNotes5 を独自に拡張したものを併用しています。 GiNZA v5の固有表現抽出モデルは国立国語研究所とMegagon Labsの共同研究成果です。

mC4

ja_ginza_electraは、mC4から抽出した日本語20億文以上を用いて事前学習したtransformers-ud-japanese-electra-base-discriminatorを使用しています。 mC4はODC-BYライセンスの規約に基づいて事前学習データとして利用しています。

Contains information from mC4 which is made available under the ODC Attribution License.

@article{2019t5,
    author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
    title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
    journal = {arXiv e-prints},
    year = {2019},
    archivePrefix = {arXiv},
    eprint = {1910.10683},
}

リリース履歴

version 5.x

ginza-5.3.0

ginza-5.2.1

ginza-5.2.0

ginza-5.1.3

ginza-5.1.2

ginza-5.1.1

ginza-5.1.0

ginza-5.0.3

ginza-5.0.2

ginza-5.0.1

ginza-5.0.0

version 4.x

ginza-4.0.6

ginza-4.0.5

ginza-4.0.4

ginza-4.0.3

ginza-4.0.2

ginza-4.0.1

ginza-4.0.0

version 3.x

ginza-3.1.2

ginza-3.1.1

import spacy
import pickle
nlp = spacy.load('ja_ginza')
doc1 = nlp('この例は正しくserializeされます。')
doc1.to_bytes()
with open('sample1.pickle', 'wb') as f:
    pickle.dump(doc1, f)

nlp.tokenizer.set_enable_ex_sudachi(True)
doc2 = nlp('この例ではserialize時にエラーが発生します。')
doc2.to_bytes()
with open('sample2.pickle', 'wb') as f:
    pickle.dump(doc2, f)

ginza-3.1.0

ginza-3.0.0

version 2.x

ginza-2.2.1

ginza-2.2.0

ginza-2.0.0

version 1.x

ja_ginza_nopn-1.0.2

ja_ginza_nopn-1.0.1

ja_ginza_nopn-1.0.0