生存時間解析について – ノンパラメトリック
scoutyの高濱です。本記事では、生存時間解析におけるノンパラメトリックな推定量のうち代表的なものである Kaplan-Meier 推定量と Nelson-Aalen 推定量について紹介します。 生存時間解析の概要については以下の記事をご参照ください。 上の記事で紹介しましたが、生存時間解析では、モデルの形状をどの程度の強さで仮定するかに依存して、モデルの種類が仮定が強い順に「フルパラメトリック …
生存時間解析について – 概要編
scoutyの高濱です。本記事では、インターンの田村くんと協力してscoutyでの転職可能性予測ロジックに組み込んだ生存時間解析に関する基礎的な事項の説明を行います。 転職可能性予測は、こちらの記事の通り、候補者の現在の転職の可能性を推定して提示し、スカウトメールを送るか否かの判断を助けます。 生存時間解析は、予測ロジックのコンポーネントのひとつとして、経歴などの情報から候補者が現職を退職する時期 …
Poincaré Embeddings による職種の類似度計算とその利用
scouty アルゴリズムエンジニアの高濱です。外部への情報発信はこの記事が最初なのでこの場を借りて自己紹介させていただきますが、私は scouty 代表の島田、リードエンジニアの伊藤と京都大学工学部情報学科での同期で、京都大学大学院情報学研究科鹿島研究室で修士課程を修了した後、株式会社リクルートホールディングスを経て scouty に入社しました。代表的な著作物は [Takahama et al …
AIビジネスのレシピ：AIビジネスを成功に導くアルゴリズムマネージャ
scouty代表の島田です。 今回の記事は、2017年9月21日に scouty ✕ talentio ✕ eureka で行われた下記の 「Ventures Engineer MeetUp #02 – AI & Server Side」というイベントで発表した「アルゴリズムマネジメント＆デザイン 〜機械学習の技術選定とマネジメントについて〜」という発表を記事化したものです。（当日は、自分 …
RNNで言語モデルを作る – 実装編
代表の島田です。前回の記事 RNNで言語モデルを作るための理論 では、言語モデルを作るという目的で一般的なRNNの構造についての解説を行いました。それを踏まえて、今回の記事では Python で実際に言語モデルを実装し、その言語モデルを用いて自動で生成された文章の内容を確認してみます。 scoutyでもRNNは今後文生成や、スカウトメールの文面と返信率の相関性検証などに使っていこうと考えている技術 …
RNNで言語モデルを作るための理論
代表の島田です。scoutyでは、10/14 と 10/28 に下記の機械学習講習会を行いました。機械学習講習会#1は、このブログで紹介した言語モデルの基礎とNgramによる実践を半日で行うイベントです。 講習会の際に、RNNによる言語モデルについて教えて欲しいといった意見が多く頂きましたので、今回の記事ではRNNによる言語モデルを扱います。 #1(再) scouty 機械学習講習会 〜自然言語処 …
Recursive Autoencoder で文の分散表現
scouty 代表の島田です。 トピックモデルで単語の分散表現 – 理論編 – scouty AI LAB では、局所表現・分散表現の違いに関して説明しましたが、「単語の分散表現と同じように、文*1の分散表現を作るにはどうすればよいか？」というのが今回のテーマです。 CNNで文の識別タスクを解く – scouty AI LAB でもCNNによって文の分散表現を作る方法を扱いましたが、本記事では R …
ニューラルネットによる構文解析 ー Dependency Parsingについて
scouty代表の島田です。 実はscoutyではサービス上で実用するに至れていませんが、技術選定の段階で調査したので、最近人気も出ているニューラルネットによる Dependency Parsing についてまとめてみました。 前半は、自然言語処理の基本となる大きな流れに関しても触れていますので、NLPに詳しくなくてもご理解いただけると思います！ 自然言語処理の基礎：意味解析とは？ そもそも自然言 …
トピックモデルで単語の分散表現 – 実装編
scouty代表の島田です。 前回の記事 トピックモデルで単語の分散表現 – 理論編 では、トピックモデル・LDA（Latent Dirichlet Allocation）の基本構造とアイディアを、非エンジニアにも比較的わかりやすく説明しました。 今回はPythonで実際にトピックモデルを使って単語の分散（ベクトル）表現を作ってみます。エンジニア向けの記事ですが、最後の性能比較の部分はエンジニアで …
トピックモデルで単語の分散表現 – 理論編
こんにちは。代表の島田です。 最近はDeepLearningがホットなキーワードになっていますが、トピックモデルという自然言語処理における手法も、少し前に注目を集めました。聞いたことはあるけど何なのかわからない、という方のために、今回はトピックモデルに関して説明します。 Pythonなどの言語ではライブラリが利用できますが、トピックモデルなどの原理を知っておくことでパラメータチューニングが思いのま …