本ドキュメントでは、SemantiPack の仕組みや使用方法について説明します。
SemantiPack Web はこちら ▶ https://semantipack.exdata.co.jp/ SemantiPack CLI は近日公開予定です
SemantiPack は、以下の論文の手法（ 特許出願中 ）に基づく、実世界データ向けのデータ圧縮ソフトウェアです。
下図のように、実世界データからメタデータ（ RWD Profile ）を生成し、RWD Profile に基づいて実世界データを分割・適切に圧縮するため、従来手法よりも圧縮率・処理速度を改善します。
上記で行った評価では、従来の圧縮手法（bzip2，bzip3，gzip，xz，zstd，parquet）のうち最良の手法と比べて、CSV 形式のデータは約 26～28% 小さく、JSON 形式のデータは約 26% 小さく圧縮できました。さらに、圧縮時間はほとんどの従来手法よりも高速で、展開時間も従来手法と比べて大差なく、圧縮率の割には高速な処理を実現しています。 ※ ベータ版として公開中の SemantiPack Web では、CLI 版では可能な並列処理ができないため、処理時間は大幅に長くなります。
また、SemantiPack の論文発表後に Meta 社が発表した類似手法の OpenZL と比較しても、より多様なデータに対する互換性と、高い圧縮率を実現しています（ExData 調べ）。
SemantiPack で使用している RWD Profile の仕様は、下記のリポジトリで公開しています。
https://github.com/exdata-inc/dbp-schema
また、利用可能な SemantiPack レイヤーの一覧は、以下のページで公開しています。
SemantiPack の最新バージョン（ CLI 版 ）のベンチマーク結果は、以下のページで公開しています。