[Python] Python + TreeTagger で英語の文に品詞アノテーションをする

前回の記事では、入力された英文を Python + TreeTagger で処理して、原形の情報を得ました。その過程で、入力された単語(そのままの形)と品詞の情報も得られますので、今回はそれらを使って、品詞アノテーションをします。

イメージとしては：

入力："He has lots of books."
　　　　　　↓↓↓
出力：He_PP has_VHZ lots_NNS of_IN books_NNS ._SENT

それぞれの単語の後ろに、アンダーバー(_)と、品詞情報(PP, VHZなど)がくっついています。このように品詞情報を付与してコーパスを作成すると、より高度な検索などがしやすくなるようです。

	# ttw として treetaggerwrapper をインポート
	import treetaggerwrapper as ttw
	# 初期設定
	taglang = "en" #英語
	tagdir = "/Users/*****************/TreeTagger" #TreeTagger関連ファイルのあるディレクトリ
	tagger = ttw.TreeTagger(TAGLANG=taglang, TAGDIR=tagdir)
	# 処理をする文を指定
	line = "He has lots of books, and I have as many books."
	# treetaggerによる処理
	tags = tagger.TagText(line)
	# 元の形(raw_word) と 品詞(POS) のみをリスト("ori_words")に格納
	ori_words = []
	for tag in tags:
	raw_word, POS, ori_word = tag.split("\t")
	ori_words.append(raw_word + "_" + POS)
	line_tagged = " ".join(ori_words)
	# 表示してチェックしてみる
	print(line_tagged)

view raw annotation.py hosted with ❤ by GitHub

line に入っている文が処理されますので、ダブルクオーテーションマークの中の文を分析したい文に変えてください。また、input() やコマンドライン引数を使うことで、より簡単に扱うこともできそうです。

なお、POS (品詞) がそれぞれどういう意味であるかは、TreeTaggerのページにある "tagset documentation" をクリックすることで確認することができます。

関連

• TreeTagger公式ページ
• [Python] Python + TreeTagger で英語の文の原形を得る

[Python] Python + TreeTagger で英語の文の原形を得る

TreeTagger を Python で動かして、原形を得ます。

下のコードでは、例として "He has lots of books, and I have as many books." という文を処理しています。アウトプットとして、['he', 'have', 'lot', 'of', 'book', ',', 'and', 'I', 'have', 'as', 'many', 'book', '.'] と返ってきます。

	# ttw として treetaggerwrapper をインポート
	import treetaggerwrapper as ttw
	# 初期設定
	taglang = "en" #英語
	tagdir = "/Users/************/TreeTagger" #TreeTagger関連ファイルのあるディレクトリ
	tagger = ttw.TreeTagger(TAGLANG=taglang, TAGDIR=tagdir)
	# 処理をする文を指定
	line = "He has lots of books, and I have as many books."
	# treetaggerによる処理
	tags = tagger.TagText(line)
	# 原形のみをリスト("ori_words")に格納
	ori_words = []
	for tag in tags:
	ori_words.append(tag.split("\t")[2])
	# 必要に応じて、abc順に並べ替える
	# ("key=str.lower" をつけると、小文字での並べ替え)
	# ori_words.sort(key=str.lower)
	# 表示してチェックしてみる
	print(ori_words)

view raw treetagger_python.py hosted with ❤ by GitHub

なお、10行目の "line" に処理をする文を格納していますが、input()を使ったり、コマンドライン引数を使ったりすると、使い勝手も向上しそうです。

関連

• [R] koRpus (TreeTagger の Rラッパー) で原形と品詞情報を得る