MD5はもう古い？PostgreSQLで推奨される安全なデータハッシュ方法

PostgreSQLには、md5() という関数があり、これは「バイナリ文字列（Binary String）」のMD5ハッシュを計算するために使用されます。

バイナリ文字列（Binary String）とは

PostgreSQLにおいて、バイナリ文字列は主に bytea 型で扱われます。これは、テキストデータとは異なり、0バイト（ヌルバイト）を含む任意のバイナリデータをそのまま格納できるデータ型です。例えば、画像ファイルや暗号化されたデータなどを保存するのに適しています。

通常の文字列（text や varchar など）は、特定の文字エンコーディング（UTF-8など）に基づいて文字として扱われますが、bytea はバイトのシーケンスとして扱われます。

MD5とは

MD5（Message-Digest Algorithm 5）は、データを短い固定長の「ハッシュ値」または「メッセージダイジェスト」に変換するための暗号学的ハッシュ関数です。MD5は、入力データが少しでも変更されると、生成されるハッシュ値が大きく異なるという特性を持ちます。

主な用途としては以下のものがあります。

• パスワードの保存: データベースにパスワードを直接保存する代わりに、パスワードのMD5ハッシュを保存します。これにより、データベースが漏洩してもパスワードそのものが露呈するリスクを減らせます。（ただし、MD5は現在ではセキュリティ上の脆弱性が指摘されており、パスワードの保存にはSHA-256などのより強力なハッシュ関数や、bcrypt などのパスワードハッシュ専用のアルゴリズムの使用が推奨されています。）
• データの整合性チェック: ファイルが転送中に破損していないか、改ざんされていないかを確認するために、元のファイルのMD5ハッシュと受信したファイルのMD5ハッシュを比較します。

PostgreSQLにおける md5() 関数の使い方

PostgreSQLの md5() 関数は、bytea 型の引数を受け取り、そのMD5ハッシュ値を16進数表記の text 型として返します。

構文

md5(bytea_expression)

例

文字列 'hello world' のMD5ハッシュを計算する場合:

SELECT md5('hello world'::bytea);

このクエリを実行すると、以下のような結果が返されます（MD5ハッシュは常に32文字の16進数文字列です）。

               md5
----------------------------------
 5d41402abc4b2a76b9719d911017c592
(1 row)

もし入力が text 型の場合でも、PostgreSQLは暗黙的に bytea 型に変換して md5() 関数に渡すことができますが、明示的に ::bytea を付けて型キャストするのが良い習慣です。

-- 文字列を直接渡すことも可能（PostgreSQLが自動でbyteaに変換）
SELECT md5('PostgreSQL MD5');

• MD5は、異なる入力に対して同じハッシュ値が生成される「衝突」が発生する可能性が理論上存在します。
• md5() 関数は、セキュリティ上の理由からパスワードのストレージには単独で使用すべきではありません。ソルト（salt）と呼ばれるランダムな文字列を追加してハッシュ化したり、より現代的なハッシュアルゴリズムを検討したりする必要があります。

---

md5()関数自体は非常にシンプルですが、その利用方法やPostgreSQLの環境によってはいくつかの問題が発生する可能性があります。

エラー: ERROR: function md5(integer) does not exist または function md5(unknown) does not exist

原因
md5()関数は、text型やbytea型の引数を受け取ります。しかし、異なるデータ型（例えばinteger型や、型が不明なunknown型）の引数を渡そうとすると、このようなエラーが発生します。

例

-- エラー: md5(integer) does not exist
SELECT md5(12345);

-- エラー: md5(unknown) does not exist (特定の状況下で発生)
SELECT md5(NULL); -- NULLは型が不明なため

トラブルシューティング

• 入力データの型を確認する
  テーブルの列をmd5()関数に渡す場合、その列のデータ型がtextまたはbyteaであることを確認します。もし他の型であれば、適切な型キャストが必要です。

  -- 例えば、integer型のIDをハッシュ化したい場合
  SELECT md5(id::text) FROM my_table;
  

• 明示的な型キャストを行う
  md5()関数に渡す前に、値をtext型またはbytea型に明示的にキャストします。

  SELECT md5(12345::text);
  SELECT md5('hello'::bytea);
  

エラー: ERROR: could not compute MD5 hash: disabled for FIPS

原因
これは、特にFIPS（Federal Information Processing Standards）モードが有効になっている環境で発生するエラーです。FIPSは、暗号モジュールに関する米国政府の標準であり、MD5はセキュリティ上の理由からFIPSでは許可されていない場合があります。Azure PostgreSQLなどのクラウドサービスでは、FIPSモードがデフォルトで有効になっていることがあります。

トラブルシューティング

• 別のハッシュアルゴリズムへの移行（推奨）
  

  • MD5は現在、衝突耐性の脆弱性があるため、パスワードのハッシュなどセキュリティが重要な用途には推奨されません。
  • PostgreSQLには、より強力なハッシュ関数が提供されています。例えば、sha256() や sha512() といった関数があります。これらは pgcrypto 拡張機能の一部として提供されることが多いため、事前に拡張機能をインストールする必要があります。

  -- pgcrypto拡張機能のインストール（一度だけ実行）
  CREATE EXTENSION IF NOT EXISTS pgcrypto;
  
  -- SHA256ハッシュの計算
  SELECT digest('hello world', 'sha256');
  

  • パスワードの保存には、bcrypt や scrypt といった専用のパスワードハッシュアルゴリズム（PostgreSQL 10以降ではSCRAM-SHA-256認証も利用可能）の使用が強く推奨されます。

• MD5の再有効化（非推奨/環境による）
  

  • 自己管理のPostgreSQL
    postgresql.confの設定や、OpenSSLの設定を確認し、FIPSモードを無効にするか、MD5の使用を許可するように変更できる場合があります。しかし、これはシステムのセキュリティポリシーに反する可能性があり、推奨されません。
  • クラウドサービス
    クラウドプロバイダーによっては、MD5を再有効化するオプションを提供している場合があります（一時的な措置として）。しかし、これはサービスのセキュリティ設定に依存します。

MD5ハッシュ値が期待と異なる

原因

• NULL値の扱い
  md5(NULL)はNULLを返します。期待通りの結果を得るためには、NULL値を適切に処理する必要があります（例: COALESCE関数でデフォルト値を指定する）。
• 前方/後方スペース
  見た目には同じに見える文字列でも、末尾にスペースが含まれているなどのわずかな違いでハッシュ値は変わります。
• 改行コードの違い
  Windows (\r\n) とUnix/Linux (\n) で改行コードが異なる場合、それが文字列に含まれているとハッシュ値も変わります。
• エンコーディングの違い
  同じ文字列でも、使用する文字エンコーディングが異なると、バイナリ表現が変わり、MD5ハッシュ値も変わります。例えば、UTF-8でエンコードされた「あいうえお」と、EUC-JPでエンコードされた「あいうえお」は、それぞれ異なるMD5ハッシュ値を持ちます。

トラブルシューティング

• 厳密な入力の確認
  期待するハッシュ値と比較する前に、入力データが完全に一致していることを確認します。
• データクレンジング
  ハッシュ化する前に、不要な空白文字（トリムなど）や改行コードを削除するなど、入力データを正規化します。
• エンコーディングの統一
  MD5を計算するすべてのシステムで、入力文字列のエンコーディングを統一します。PostgreSQLのデータベースエンコーディングを確認し、クライアントからの入力もそれに合わせるか、明示的にエンコーディングを指定して変換します。

パフォーマンスの問題

原因
MD5関数は比較的軽量な処理ですが、非常に大規模なデータセットに対して頻繁にMD5を計算すると、パフォーマンスに影響を与える可能性があります。特に、MD5ハッシュ値をインデックスとして使用する場合、文字列としての比較になるため、数値インデックスに比べて効率が落ちることがあります。

トラブルシューティング

• 計算のタイミング
  MD5ハッシュ値を頻繁に計算する必要がある場合は、データを挿入または更新する際に一度だけハッシュ値を計算して別途カラムに保存し、検索時にはその保存されたハッシュ値を利用することを検討します。
• UUIDの使用
  データのユニークな識別子が必要な場合、MD5ハッシュの代わりにPostgreSQLが提供するuuid型やgen_random_uuid()関数（pgcrypto拡張機能）の使用を検討します。UUIDはMD5ハッシュと同様に一意性が高く、専用のデータ型があるため、より効率的なストレージとインデックス付けが可能です。
• インデックスの利用
  MD5ハッシュ値を検索条件に使用する場合、その列にインデックス（例えばtext_pattern_opsやvarchar_pattern_opsなどの演算子クラスを指定したB-treeインデックス）を作成することを検討します。

認証におけるMD5の問題

原因
PostgreSQLのユーザー認証方法としてMD5を使用している場合、セキュリティ上の問題（パスワード漏洩時のリスク）や、PostgreSQLのバージョンアップ（特にPostgreSQL 10以降ではSCRAM認証が推奨）に伴い、認証に失敗するケースがあります。

トラブルシューティング

• SCRAM-SHA-256への移行（推奨）
  より安全なSCRAM認証方式に移行することを強く推奨します。
  1. postgresql.confでpassword_encryption = scram-sha-256を設定します。
  2. PostgreSQLサービスを再起動またはリロードします。
  3. ユーザーのパスワードを再設定します（既存のMD5ハッシュされたパスワードも、新しく設定することでSCRAM-SHA-256形式で保存されます）。
  4. pg_hba.confの認証方法をmd5からscram-sha-256に変更します。
• パスワードの再設定
  ユーザーのパスワードが正しくMD5でハッシュ化されているか確認し、必要であればパスワードを再設定します。
• pg_hba.confの確認
  pg_hba.confファイルで、ユーザー認証にmd5が指定されていることを確認します。

---

md5() 関数は、文字列やバイナリデータのMD5ハッシュ値を計算するために使用されます。ここでは、様々なシナリオでの使用例と、関連するデータ型であるbyteaの扱いについても触れます。

基本的な文字列のMD5ハッシュ計算

最も一般的な使用例は、テキスト文字列のMD5ハッシュを計算することです。PostgreSQLのmd5()関数は、text型の引数を受け取ると、内部的にそれをbyteaに変換して処理します。

-- 基本的な文字列のMD5ハッシュ
SELECT md5('Hello PostgreSQL');

-- 結果例:
--                md5
----------------------------------
-- b55d5b6e680a3a6b5791c6e1e6b360f0

bytea型への明示的なキャスト

厳密にバイナリデータを扱いたい場合や、入力のデータ型が不明確な場合は、bytea型へ明示的にキャストすることが推奨されます。

-- 数値をtextにキャストしてからmd5
SELECT md5(12345::text);

-- 結果例:
--                md5
----------------------------------
-- 827ccb0eea8a706c4c34a16891f84e7b

-- バイナリデータを直接扱う（16進数表現で入力）
SELECT md5('\x0123456789abcdef'::bytea);

-- 結果例:
--                md5
----------------------------------
-- b92f2cc96503b41d6b0562e84c3e7428

テーブルのデータに対するMD5ハッシュ計算

テーブルの特定の列のデータに対するMD5ハッシュを計算する例です。これはデータの整合性チェックや、ユニークな識別子を生成する際などに役立ちます。

-- サンプルテーブルの作成
CREATE TABLE users (
    user_id SERIAL PRIMARY KEY,
    username VARCHAR(50) NOT NULL,
    email VARCHAR(100) NOT NULL,
    password_hash TEXT -- MD5ハッシュを格納するカラム
);

-- データの挿入
INSERT INTO users (username, email) VALUES
('alice', '[email protected]'),
('bob', '[email protected]'),
('charlie', '[email protected]');

-- usernameとemailを連結した文字列のMD5ハッシュを計算し、password_hashに格納（パスワードではないが例として）
UPDATE users
SET password_hash = md5(username || email);

-- 結果の確認
SELECT user_id, username, email, password_hash FROM users;

-- 結果例:
-- user_id | username |        email        |           password_hash
-----------+----------+---------------------+----------------------------------
--       1 | alice    | [email protected]   | c356f9b17726715f5c40134a667104b2
--       2 | bob      | [email protected]     | 8b7e289e27c154316d25287f32997788
--       3 | charlie  | [email protected] | 11f7c87c0e07119e7a9b09f4470d5e16

重要: 実際のパスワード保存にはMD5ではなく、pgcrypto拡張機能のcrypt()関数や、SCRAM認証などのより強力なハッシュアルゴリズムを使用すべきです。

pgcrypto拡張機能とdigest()関数（より安全なハッシュ）

MD5はセキュリティ上の脆弱性があるため、より安全なハッシュ関数（SHA-256など）を使用することが推奨されます。PostgreSQLでは、pgcryptoという拡張機能を通じてこれらの関数が提供されます。

まず、pgcrypto拡張機能をインストールします（データベースごとに一度だけ必要です）。

CREATE EXTENSION IF NOT EXISTS pgcrypto;

次に、digest()関数を使用してSHA-256ハッシュを計算します。

-- SHA-256ハッシュの計算
SELECT digest('My secret data', 'sha256');

-- 結果例:
--                        digest
------------------------------------------------------------------
-- \x8f3c7e7b8979c13b2c1e7a3e7b8979c13b2c1e7a3e7b8979c13b2c1e7a3e7b89

-- 16進数表現のテキストとして取得する場合
SELECT encode(digest('My secret data', 'sha256'), 'hex');

-- 結果例:
--                        encode
------------------------------------------------------------------
-- 8f3c7e7b8979c13b2c1e7a3e7b8979c13b2c1e7a3e7b8979c13b2c1e7a3e7b89

digest()関数の2つ目の引数には、使用するハッシュアルゴリズム（例: 'md5', 'sha1', 'sha256', 'sha512'など）を指定します。結果はbytea型で返されるため、人間が読める16進数文字列として表示するにはencode(..., 'hex')関数を使用します。

bytea型カラムへのバイナリデータの挿入とMD5ハッシュの利用

実際のバイナリデータ（例: 小さな画像、PDFファイルの一部）をbyteaカラムに格納し、そのMD5ハッシュを計算する例です。

-- バイナリデータを格納するテーブル
CREATE TABLE documents (
    doc_id SERIAL PRIMARY KEY,
    doc_name VARCHAR(255) NOT NULL,
    doc_content BYTEA,
    content_md5 TEXT -- doc_contentのMD5ハッシュ
);

-- バイナリデータを挿入（ここでは16進数文字列をdecodeしてバイナリにする）
-- 'Hello World' の16進数表現は '48656c6c6f20576f726c64'
INSERT INTO documents (doc_name, doc_content) VALUES
('hello_world.txt', decode('48656c6c6f20576f726c64', 'hex'));

-- 挿入されたコンテンツのMD5ハッシュを計算して更新
UPDATE documents
SET content_md5 = md5(doc_content)
WHERE doc_name = 'hello_world.txt';

-- 結果の確認
SELECT
    doc_id,
    doc_name,
    encode(doc_content, 'escape') AS doc_content_escaped, -- 表示のためにエスケープ
    content_md5
FROM documents;

-- 結果例:
-- doc_id |   doc_name    | doc_content_escaped |           content_md5
----------+---------------+---------------------+----------------------------------
--      1 | hello_world.txt | Hello World         | 5d41402abc4b2a76b9719d911017c592

この例では、decode()関数を使って16進数文字列をbyteaに変換し、encode()関数を使ってbyteaを可読な形式に戻しています。

UUIDの生成とMD5ハッシュの関連性

直接md5()関数とは関係ありませんが、ユニークな識別子を生成するという点で、MD5ハッシュがUUID生成に使われることもあります（UUID v3やv5）。PostgreSQLはgen_random_uuid()という組み込み関数を提供しており、これは通常、MD5よりも推奨されるランダムなUUIDを生成します。

-- ランダムなUUIDの生成
SELECT gen_random_uuid();

-- 結果例:
--              gen_random_uuid
--------------------------------------
-- a1b2c3d4-e5f6-7890-abcd-ef0123456789 (毎回異なる値)

---

MD5は、その設計の古さから衝突耐性の脆弱性が指摘されており、特にセキュリティが重要な場面（パスワードのハッシュ、デジタル署名など）での使用は推奨されません。PostgreSQLでは、より強力で安全なハッシュ関数やデータ処理方法が提供されています。

主な代替手段は以下の通りです。

1. より強力なハッシュ関数 (pgcrypto拡張機能)
2. パスワードハッシュ専用の関数 (pgcrypto拡張機能)
3. UUID (Universally Unique Identifier)
4. bytea型の直接操作とSQL関数
5. データ整合性チェックの代替

より強力なハッシュ関数 (pgcrypto拡張機能)

PostgreSQLでより強力なハッシュ関数を使用するには、標準で提供されているpgcrypto拡張機能をインストールする必要があります。これにより、SHA-256、SHA-512といったMD5よりも安全なアルゴリズムを利用できます。

インストール方法

CREATE EXTENSION IF NOT EXISTS pgcrypto;

（このコマンドはデータベースごとに一度だけ実行します。）

使用例: digest()関数

digest()関数は、指定したアルゴリズムでデータのハッシュを計算し、bytea型で返します。

-- SHA-256ハッシュの計算
SELECT digest('My confidential data', 'sha256');
-- 結果はbytea型で返される例: \x9e97f0a716c523f05b0f49615e45c486...

-- 16進数文字列として表示する場合
SELECT encode(digest('My confidential data', 'sha256'), 'hex');
-- 結果例: 9e97f0a716c523f05b0f49615e45c486e9b4d8d148e6587c48f21e513a96860d

-- SHA-512ハッシュの計算
SELECT encode(digest('My confidential data', 'sha512'), 'hex');
-- 結果例: d2697b0a8f8e02d6b63c87e67f0f622f...

-- MD5もdigest()で指定可能だが、通常は直接md5()関数を使う
SELECT encode(digest('Hello World', 'md5'), 'hex');
-- 結果例: 5d41402abc4b2a76b9719d911017c592

digest()関数は、MD5が持つ「衝突耐性の脆弱性」に対処するために、より安全なハッシュアルゴリズムを提供します。特に、データの整合性チェックや一意性の保証に利用する場合にMD5の代替として推奨されます。

パスワードハッシュ専用の関数 (pgcrypto拡張機能)

パスワードのハッシュには、md5()やdigest()を直接使うのではなく、パスワードハッシュ専用に設計されたアルゴリズムを使用することが強く推奨されます。これらのアルゴリズムは、レインボーテーブル攻撃やブルートフォース攻撃に対して耐性を持つように「ソルト（salt）」の概念と「計算コスト」の調整機能を含んでいます。

使用例: crypt()関数 (bcrypt)

pgcryptoのcrypt()関数は、様々なアルゴリズムをサポートしており、特にパスワードの保存にはbcryptアルゴリズムが推奨されます。

-- パスワード 'mysecretpassword' のbcryptハッシュを生成
-- gen_salt() でランダムなソルトを生成
SELECT crypt('mysecretpassword', gen_salt('bf'));

-- 結果例（毎回異なるソルトとハッシュが生成される）:
--                            crypt
------------------------------------------------------------------
-- $2a$10$abcdefghijklmnopqrstuvwxyza.abcdefghijklmnopqrstuvwxyz

-- パスワードの検証（入力されたパスワードと保存されたハッシュを比較）
-- ユーザーが入力したパスワード 'mysecretpassword' と
-- データベースに保存されているハッシュ値 '$2a$10$abcdefghijklmnopqrstuvwxyza.abcdefghijklmnopqrstuvwxyz' を比較
SELECT crypt('mysecretpassword', '$2a$10$abcdefghijklmnopqrstuvwxyza.abcdefghijklmnopqrstuvwxyz') = '$2a$10$abcdefghijklmnopqrstuvwxyza.abcdefghijklmnopqrstuvwxyz';
-- 結果: t (true)

gen_salt('bf')はbcryptアルゴリズム用のソルトを生成し、bfの後の数字は計算コスト（イテレーション回数）を指定します。パスワードの検証時には、ユーザーが入力したパスワードと保存されているハッシュ値（ソルトも含む）をcrypt()関数に渡すだけで、自動的に比較が行われます。

注意点

• PostgreSQL 10以降の認証方法
  データベースユーザーの認証には、pg_hba.confでscram-sha-256を推奨します。これはPostgreSQL組み込みのより安全な認証メカニズムです。
• crypt()関数は、text型でパスワードとソルトを受け取り、text型でハッシュを返します。

UUID (Universally Unique Identifier)

一意な識別子（ID）が必要な場合、MD5ハッシュ値を使う代わりにUUIDを利用することが非常に一般的です。UUIDは、衝突の可能性が極めて低い128ビットの識別子です。

gen_random_uuid()関数の利用

pgcrypto拡張機能には、ランダムなUUID（バージョン4）を生成するgen_random_uuid()関数が含まれています。

-- ランダムなUUIDの生成
SELECT gen_random_uuid();
-- 結果例: 4c9b0e1a-2d3e-4f5a-6b7c-8d9e0f1a2b3c (毎回異なる)

UUID型

PostgreSQLはuuidという専用のデータ型を持っており、ストレージ効率とインデックス作成の面でMD5ハッシュをtext型で保存するよりも優れています。

CREATE TABLE my_data (
    data_id UUID PRIMARY KEY DEFAULT gen_random_uuid(),
    value TEXT
);

INSERT INTO my_data (value) VALUES ('Some important data');

SELECT * FROM my_data;

UUIDは、分散システムにおける一意な識別子、APIキー、セッショントークンなど、多様な場面でMD5の代替として利用されます。

bytea型の直接操作とSQL関数

md5()関数はbytea型の入力を扱いますが、PostgreSQLにはbytea型データを操作するための他の関数も豊富に用意されています。これにより、MD5を使わずにバイナリデータを処理することが可能です。

• length()
  byteaデータのバイト長を取得します。

  SELECT length('Hello World'::bytea); -- 11
  

• encode() / decode()
  byteaデータを様々なエンコーディング（hex, base64, escapeなど）の文字列に変換したり、その逆を行ったりします。

  -- テキストをバイナリに変換 (UTF-8エンコーディング)
  SELECT convert_to('Hello World', 'UTF8')::bytea; -- '\x48656c6c6f20576f726c64'
  
  -- 16進数文字列をbyteaにデコード
  SELECT decode('48656c6c6f20576f726c64', 'hex');
  
  -- byteaをbase64文字列にエンコード
  SELECT encode(decode('48656c6c6f20576f726c64', 'hex'), 'base64');
  

これらの関数は、MD5のようにデータを要約するものではありませんが、バイナリデータを処理する際の柔軟性を提供します。

データ整合性チェックの代替

ファイルやデータの整合性チェックにMD5が使われることがありますが、この用途でもdigest()関数を用いたSHA-256などのより強力なハッシュ関数が推奨されます。

例えば、PostgreSQLに画像ファイルなどのバイナリデータをbytea型で保存している場合、そのファイルがオリジナルのままかを確認するために、保存時と読み出し時にMD5ではなくSHA-256ハッシュを計算して比較することができます。

-- 画像ファイルの保存（例）
CREATE TABLE images (
    image_id SERIAL PRIMARY KEY,
    image_name VARCHAR(255),
    image_data BYTEA,
    image_sha256 TEXT -- SHA-256ハッシュを格納
);

-- (アプリケーション側でファイルデータをbyteaに変換し、SHA-256ハッシュも計算して挿入)
INSERT INTO images (image_name, image_data, image_sha256) VALUES
('my_photo.jpg',
 E'\\x89504e470d0a1a0a0000000d49484452000000010000000108060000001f15c4890000000c4944415478daedc10101000000c2a0f74f0000000049454e44ae426082'::bytea, -- サンプルバイナリ
 encode(digest(E'\\x89504e470d0a1a0a0000000d49484452000000010000000108060000001f15c4890000000c4944415478daedc10101000000c2a0f74f0000000049454e44ae426082'::bytea, 'sha256'), 'hex')
);

-- データ整合性の確認
SELECT
    image_name,
    image_sha256 = encode(digest(image_data, 'sha256'), 'hex') AS is_consistent
FROM images;

-- 結果例:
-- image_name | is_consistent
--------------+---------------
-- my_photo.jpg | t