「ビッグデータを支える技術」を読んで良かったこと

• 2017年10月29日
• ビッグデータ, 書籍
• Hadoop Hive Jupyter Spark

仕事としてビッグデータに関わる機会が増えてきましたが、Hadoop エコシステムに関する情報やビッグデータ全般に関する初学者向けの情報は、特に日本語のものではあまり多くない印象を持っていました。

2017年9月 に発売されており気になっていた「ビッグデータを支える技術」をようやく購入・読了したので、その感想をメモします。

続きを読む »

PyHive を使って Hive カタログのテーブルに Presto クエリを実行する

• 2017年07月08日
• ビッグデータ, プログラミング
• Hive Presto

Presto をさわり始めたのでプログラミング言語から簡単に操作したいと思い色々見てみたところ、Python では PyHive というパッケージがありました。

PyHive を使って Hive カタログのテーブルに Presto クエリを実行するまでをメモします。

続きを読む »

parquet-tools を使って Parquet ファイルの中身やスキーマを確認する方法

• 2016年10月09日
• ビッグデータ
• Hadoop Hive Parquet parquet-tools

Apache Hive のテーブルでサポートされているファイルフォーマットのPARQUETは、ファイル単体では中身を確認するのが困難です。

Parquet ファイルを検査できるツール parquet-tools を使って中身を確認してみたので、その方法をメモします。

続きを読む »

QGIS を使ってシェープファイル(Shapefile)を CSV に変換する方法

• 2016年10月08日
• ビッグデータ
• Hadoop Hive QGIS Shapefile

地理データを Hadoop 等で処理する際、CSV 形式だと別データとの突合せの際に扱いやすい場面があります。

QGIS を使ってシェープファイル(Shapefile)を CSV に変換してみたので、その手順をメモします。

続きを読む »