係り受けに基づく日本語単語埋込

こんにちは,LAPRAS株式会社の松野です.この春に奈良先端科学技術大学院大学(NAIST)を修了し,入社しました.大学院では自然言語処理学研究室で構文解析を研究していました. はじめに 以前,弊社アルゴリズムエ“ぬ”ジニアの鈴木が埋め込み手法についての記事を書きましたが,今回私が扱うのも埋め込み手法に関わる内容です. 今回,私は(Levy et al., 2014)の「Dependency-Ba …

2019-05-09

2019年現在の文・文書生成に関してのまとめ

LAPRAS の森元です。AI LAB でのはじめての投稿になります。私は、修士課程・博士課程を通して自然言語処理学の研究をしてきました。特に推論や因果関係に興味があり、主に含意関係認識の研究を行ってきています。先月4月よりリサーチャーとして LAPRAS に入社しました。 本記事は、2019年4月現在の文自動生成に関してのサーベイを行った結果をまとめたものです。 はじめに LAPRAS の提供し …

有限状態トランスデューサによる日本人名の構造化

scouty の高濱です。本記事では、日本人の名前の構造化のために、自然言語処理における古典的な手法である有限状態トランスデューサ (Finite-State Transducer; FST) を用いた例を紹介します。本記事で紹介するライブラリの実装や本記事のドラフトは、scouty インターンの Derick によって作成されました。 Derick による本記事の英語版も同時に公開されていますの …

Poincaré Embeddings による職種の類似度計算とその利用

scouty アルゴリズムエンジニアの高濱です。外部への情報発信はこの記事が最初なのでこの場を借りて自己紹介させていただきますが、私は scouty 代表の島田、リードエンジニアの伊藤と京都大学工学部情報学科での同期で、京都大学大学院情報学研究科鹿島研究室で修士課程を修了した後、株式会社リクルートホールディングスを経て scouty に入社しました。代表的な著作物は [Takahama et al …

RNNで言語モデルを作る – 実装編

代表の島田です。前回の記事 RNNで言語モデルを作るための理論 では、言語モデルを作るという目的で一般的なRNNの構造についての解説を行いました。それを踏まえて、今回の記事では Python で実際に言語モデルを実装し、その言語モデルを用いて自動で生成された文章の内容を確認してみます。 scoutyでもRNNは今後文生成や、スカウトメールの文面と返信率の相関性検証などに使っていこうと考えている技術 …

RNNで言語モデルを作るための理論

代表の島田です。scoutyでは、10/14 と 10/28 に下記の機械学習講習会を行いました。機械学習講習会#1は、このブログで紹介した言語モデルの基礎とNgramによる実践を半日で行うイベントです。 講習会の際に、RNNによる言語モデルについて教えて欲しいといった意見が多く頂きましたので、今回の記事ではRNNによる言語モデルを扱います。 #1(再) scouty 機械学習講習会 〜自然言語処 …

Recursive Autoencoder で文の分散表現

scouty 代表の島田です。 トピックモデルで単語の分散表現 – 理論編 – scouty AI LAB では、局所表現・分散表現の違いに関して説明しましたが、「単語の分散表現と同じように、文*1の分散表現を作るにはどうすればよいか?」というのが今回のテーマです。 CNNで文の識別タスクを解く – scouty AI LAB でもCNNによって文の分散表現を作る方法を扱いましたが、本記事では R …

ニューラルネットによる構文解析 ー Dependency Parsingについて

scouty代表の島田です。 実はscoutyではサービス上で実用するに至れていませんが、技術選定の段階で調査したので、最近人気も出ているニューラルネットによる Dependency Parsing についてまとめてみました。 前半は、自然言語処理の基本となる大きな流れに関しても触れていますので、NLPに詳しくなくてもご理解いただけると思います! 自然言語処理の基礎:意味解析とは? そもそも自然言 …

トピックモデルで単語の分散表現 – 実装編

scouty代表の島田です。 前回の記事 トピックモデルで単語の分散表現 – 理論編 では、トピックモデル・LDA(Latent Dirichlet Allocation)の基本構造とアイディアを、非エンジニアにも比較的わかりやすく説明しました。 今回はPythonで実際にトピックモデルを使って単語の分散(ベクトル)表現を作ってみます。エンジニア向けの記事ですが、最後の性能比較の部分はエンジニアで …