2020-09-01

ツイート内容に基づく職業予測

こんにちは,松野です.本記事では,ツイートの情報からユーザーの職業を予測する実験を行った結果を紹介します. はじめに LAPRASではインターネット上に公開されているオープンデータを基に機械学習や自然言語処理の技術を用いてユーザーのスキルや志向性を分析し,それを活かしたマッチングシステムを作っています. そういった分析に用いる基礎技術の一つとして,本記事では職業予測の実験に取り組みました. 実験設 …

2019-11-11

係り受けに基づく日本語単語埋め込みを用いた係り受け解析

こんにちは,LAPRAS株式会社の松野です.本記事では,係り受けに基づく日本語単語埋め込みを使って,自然言語処理の主要なタスクである係り受け解析の実験を行った結果を紹介します. *一部記事内容に誤りがありました.実験でつかったデータセット UD_Japanese-GSD のライセンスについて 「CC BY-SA(商用利用可)」と書いていましたが,「現状では CC BY-NC-SA(商用利用不可)で …

係り受けに基づく日本語単語埋め込み

こんにちは,LAPRAS株式会社の松野です.この春に奈良先端科学技術大学院大学(NAIST)を修了し,入社しました.大学院では自然言語処理学研究室で構文解析を研究していました. はじめに 以前,弊社アルゴリズムエ“ぬ”ジニアの鈴木が埋め込み手法についての記事を書きましたが,今回私が扱うのも埋め込み手法に関わる内容です. 今回,私は(Levy et al., 2014)の「Dependency-Ba …

2019-05-09

2019年現在の文・文書生成に関してのまとめ

LAPRAS の森元です。AI LAB でのはじめての投稿になります。私は、修士課程・博士課程を通して自然言語処理学の研究をしてきました。特に推論や因果関係に興味があり、主に含意関係認識の研究を行ってきています。先月4月よりリサーチャーとして LAPRAS に入社しました。 本記事は、2019年4月現在の文自動生成に関してのサーベイを行った結果をまとめたものです。 はじめに LAPRAS の提供し …

2019-04-12

Disk Embedding による非循環有向グラフの表現獲得

LAPRAS のアルゴリズムエぬジニア 兼 リサーチャーの鈴木です。AI Lab への投稿は初めてですので、簡単に自己紹介をしておきます。私は大学で理論物理学の修士号を取った後、大手電機メーカーの研究所で機械学習・信号処理などを研究していましたが、「世の中のミスマッチをなくす」というビジョンに共感し、昨年の11月からLAPRAS (旧 scouty) にジョインしました。これまでの主な研究成果は …

2018-11-14

生存時間解析について – セミパラメトリック

はじめに scouty AI LAB ではこれまで、生存時間解析に関して概要の記事とノンパラメトリックなモデルに関する解説の記事をそれぞれ公開してきました。 本記事では、その続編としてセミパラメトリックなモデル、特にその中で非常によく用いられるモデルであるCox比例ハザードモデルとその学習の過程について詳しく紹介します。 Cox比例ハザードモデル Cox比例ハザードモデル (Cox Proport …

有限状態トランスデューサによる日本人名の構造化

scouty の高濱です。本記事では、日本人の名前の構造化のために、自然言語処理における古典的な手法である有限状態トランスデューサ (Finite-State Transducer; FST) を用いた例を紹介します。本記事で紹介するライブラリの実装や本記事のドラフトは、scouty インターンの Derick によって作成されました。 Derick による本記事の英語版も同時に公開されていますの …

2018-04-18

生存時間解析について – ノンパラメトリック

scoutyの高濱です。本記事では、生存時間解析におけるノンパラメトリックな推定量のうち代表的なものである Kaplan-Meier 推定量と Nelson-Aalen 推定量について紹介します。 生存時間解析の概要については以下の記事をご参照ください。 上の記事で紹介しましたが、生存時間解析では、モデルの形状をどの程度の強さで仮定するかに依存して、モデルの種類が仮定が強い順に「フルパラメトリック …

2018-02-28

生存時間解析について – 概要編

scoutyの高濱です。本記事では、インターンの田村くんと協力してscoutyでの転職可能性予測ロジックに組み込んだ生存時間解析に関する基礎的な事項の説明を行います。 転職可能性予測は、こちらの記事の通り、候補者の現在の転職の可能性を推定して提示し、スカウトメールを送るか否かの判断を助けます。 生存時間解析は、予測ロジックのコンポーネントのひとつとして、経歴などの情報から候補者が現職を退職する時期 …