LAPRASポートフォリオタグの分類実験とパイプライン設計
はじめに こんにちは、LAPRASのAILABチームです。今回は池・田嶋・森元で、LAPRASポートフォリオのタグをエンジニア関連のタグ(エンジニアタグ)とそうでないタグ(非エンジニアタグ)に分類する分類器を検討してみました。ここではその実験の詳細と、また再現性のある方法で分類器を得るためのパイプラインについて検討した内容をまとめます。 タグ分類 現在のLAPRASポートフォリオ上では図のようにユ …
求人のレベル判定に関する実験まとめ
はじめに こんにちは、LAPRAS Researchチームの池・森元です。LAPRASでは最近、転職活動支援の一環として新機能のJOB LISTや転職支援サービスのLAPRAS CAREER β版をリリースしています。これらに伴い、私たちResearchチームでは、人と求人のマッチングアルゴリズム開発に注力しています。 人と求人のマッチング時には転職希望者と求人のレベル感をマッチさせる必要がありま …
RNNで言語モデルを作る – 実装編
代表の島田です。前回の記事 RNNで言語モデルを作るための理論 では、言語モデルを作るという目的で一般的なRNNの構造についての解説を行いました。それを踏まえて、今回の記事では Python で実際に言語モデルを実装し、その言語モデルを用いて自動で生成された文章の内容を確認してみます。 scoutyでもRNNは今後文生成や、スカウトメールの文面と返信率の相関性検証などに使っていこうと考えている技術 …
RNNで言語モデルを作るための理論
代表の島田です。scoutyでは、10/14 と 10/28 に下記の機械学習講習会を行いました。機械学習講習会#1は、このブログで紹介した言語モデルの基礎とNgramによる実践を半日で行うイベントです。 講習会の際に、RNNによる言語モデルについて教えて欲しいといった意見が多く頂きましたので、今回の記事ではRNNによる言語モデルを扱います。 #1(再) scouty 機械学習講習会 〜自然言語処 …
Recursive Autoencoder で文の分散表現
scouty 代表の島田です。 トピックモデルで単語の分散表現 – 理論編 – scouty AI LAB では、局所表現・分散表現の違いに関して説明しましたが、「単語の分散表現と同じように、文*1の分散表現を作るにはどうすればよいか？」というのが今回のテーマです。 CNNで文の識別タスクを解く – scouty AI LAB でもCNNによって文の分散表現を作る方法を扱いましたが、本記事では R …
ニューラルネットによる構文解析 ー Dependency Parsingについて
scouty代表の島田です。 実はscoutyではサービス上で実用するに至れていませんが、技術選定の段階で調査したので、最近人気も出ているニューラルネットによる Dependency Parsing についてまとめてみました。 前半は、自然言語処理の基本となる大きな流れに関しても触れていますので、NLPに詳しくなくてもご理解いただけると思います！ 自然言語処理の基礎：意味解析とは？ そもそも自然言 …
CNNで文の識別タスクを解く
代表の島田です。 今回は、今後scoutyでもスカウトメールの返信率予測などに利用していこうと考えているCNN（畳み込みニューラルネットワーク）の自然言語処理分野への応用をご紹介します。 画像認識に使われることも多いCNNですが、最近は自然言語処理への応用もさかんです。 CNNとは 畳み込みニューラルネットワーク（Convolutional Neural Network:以下CNN）は、画像認識で …