athome-developer’s blog

不動産情報サービスのアットホームの開発者が発信するブログ

AWS Summit 2016 Tokyo で拝聴したセッションの感想

情報システム部の山本豊です。不動産情報サイト「アットホーム」のインフラを主に担当していました。
クラウドに興味がありまして、当社で有効活用出来ないかと考えています。
また、データサイエンスにも興味がありまして、ぼちぼちと勉強を始めています。


先日、2016年6月1日(水)~6月3日(金)に開催された「AWS Summit2016 Tokyo」に行って、下記のセッションを聴かせていただいたので、その感想を書こうと思います。

クラウド上に効率的なビッグデータ処理基盤を構築するには?~データ特性に応じたシステム設計~

セッション内容は、amazonが公開している資料・ご動画を参照ください。

AWS Summit Tokyo 2016 セッション資料・動画一覧 | AWS

AWSを使うかどうかは別として、下記は共感、納得しました。

・「データは加工せず、全期間残す」(データレイク)
AWS S3 ならディスク容量気にせずに保管出来るよ!!
・データの温度を定義しよう。ホットデータ、コールドデータ。
・ホットデータは、今すぐ分析したいデータ。
・コールドデータは、今は使わないけど後で使うかも(月末、年度末とかに分析するかも)
ビッグデータ基盤が出来れば、IoT、ディープランニング、未来予測が出来る様になるよ!!

以下は、社内でビックデータ基盤を構築した場合の妄想です。

もしこんな基盤があったら、社内でレコメンドエンジンが作れるなぁと思いました。
当社が運営する不動産情報サイト「アットホーム」のユーザーの検索操作や回遊データを元にすれば、ユーザーが求めている条件に近い物件をお勧めする事が出来ます。
物件探しは、自分の条件に「100%」一致する物件を見つけるのは苦労する事が多いので、それを自動的にお勧めしたり、似た様な条件の物件をお勧めしたりする事で、ユーザーの苦労を少しでも手助けする事が出来ると思います。
現在は他社のレコメンドエンジンを使用して同様の事を実施していますが、自社で開発すれば、より細かいレコメンドのチューニングをしたり、最近のユーザー動向などを当社顧客である不動産会社様にフィードバック出来るかもしません。
また、ユーザー検索操作や回遊データを元に新しいサービスを開発する事も出来ると思います。

(自分が作ると思っていないので妄想全開ですw)

ただ、そんな基盤を構築するには、アットホームサイトはユーザー行動を分析する為のデータ(ログ)まだ足りていないような気がします。

エンジニアの立場からすると、こんなデータ・ログがあれば、こんな分析が出来そうだなと思う事があるのですが、今まで企画部署のデータ解析する人達から統計っぽい分析(クラスターや回帰分析)をしたいと言う要求がなかったので取っていなかったりします。
オンプレでサービス稼働しているので、使う予定の無いデータを蓄積する程のディスクの余裕が無いのです。

データ蓄積してBIツールで見せられればデータ解析担当の意識も変わるかもしれないと思っているんですが、そもそも自分も統計学に詳しくなかったり、プレゼンが苦手だったりで自信がないのです (^^;)

こっそり、AWSの個人アカウントで出来る事を色々試してみようと妄想している今日この頃です。

余談ですが、本サミットでは S3にデータ保管 → データ解析→ IoTやディープラーニングという事例が多く発表されていました。
大小さまざまな企業がビックデータ、IoT、ディープラーニングの現実的なビジネスを始めているんだなぁと思いました。

一言、断っておきますが、私はAWSに偏っているわけではなく、Azure、Google、 Bluemix にも興味があります。今後は、幅広いテーマで、いろいろと書いていきたいと思います。