PyHive を使って Hive カタログのテーブルに Presto クエリを実行する

• 2017年07月08日
• ビッグデータ, プログラミング
• Hive Presto

Presto をさわり始めたのでプログラミング言語から簡単に操作したいと思い色々見てみたところ、Python では PyHive というパッケージがありました。

PyHive を使って Hive カタログのテーブルに Presto クエリを実行するまでをメモします。

続きを読む »

parquet-tools を使って Parquet ファイルの中身やスキーマを確認する方法

• 2016年10月09日
• ビッグデータ
• Hadoop Hive Parquet parquet-tools

Apache Hive のテーブルでサポートされているファイルフォーマットのPARQUETは、ファイル単体では中身を確認するのが困難です。

Parquet ファイルを検査できるツール parquet-tools を使って中身を確認してみたので、その方法をメモします。

続きを読む »

QGIS を使ってシェープファイル(Shapefile)を CSV に変換する方法

• 2016年10月08日
• ビッグデータ
• Hadoop Hive QGIS Shapefile

地理データを Hadoop 等で処理する際、CSV 形式だと別データとの突合せの際に扱いやすい場面があります。

QGIS を使ってシェープファイル(Shapefile)を CSV に変換してみたので、その手順をメモします。

続きを読む »