Photoshopのホクロ除去をAI+Pythonで自動化するツールを公開しました(photoshop-mole-remover)

大量のポートレート写真やAI生成画像を扱う現場では、「肌にある小さなホクロやゴミ点だけを1枚ずつ手作業で消す」といった細かいレタッチ作業が意外と大きな負担になります。

かといって単純な一括処理で元画像を直接上書きしてしまうと、消したくない箇所まで処理されていた場合にやり直しがききません。

そこで今回、Python(MediaPipe+OpenCV)による高精度なホクロ自動検出と、Photoshop(ExtendScript)による非破壊の一括レタッチを組み合わせたツールを作成し、GitHubで公開しました。

https://github.com/HideyukHira/photoshop-mole-remover

このツールでできること

使い方はシンプルで、画像が入ったフォルダを付属のバッチファイル(run_mole_removal.bat)にドラッグ&ドロップするだけです。内部では以下の処理が自動で連続実行されます。

  1. AI+画像処理による自動検出(Python)
    フォルダ内の画像から肌領域のホクロ座標とサイズを検出し、座標JSONと赤丸マーキング済みのプレビュー画像を生成します。
  2. Photoshopでの非破壊スポット修復(ExtendScript)
    Photoshopを自動起動し、元レイヤーを複製した別レイヤー(Moles_Removed)に対してのみ、各座標へ「コンテンツに応じた塗りつぶし」を一括適用します。
  3. PSD形式での自動保存
    元レイヤーを残したままPSDとして書き出すため、処理後にビフォー/アフターを比較したり、気になる箇所だけマスクで戻したりといった微調整がそのまま行えます。

誤検出を抑えるための技術的な設計

ホクロ検出を単純に「画像内の暗い点を探す」ロジックで作ると、目・眉・唇・鼻孔・髪の影・服の模様などを大量に誤検出してしまいます。

実務で使える精度を出すため、今回はAIによる領域認識と古典的な画像処理アルゴリズムのハイブリッド構成を採用しています。

  • MediaPipeによる肌領域抽出と顔パーツ除外
    Multiclass Selfie Segmenterで「顔肌・体肌」の領域だけを抽出し、さらにFace Landmarker(468点ランドマーク)を使って目・眉・唇・鼻孔を自動除外しています。イラストなどでAIが反応しない場合は、YCrCb+HSVの色ベース検出へ自動フォールバックします。
  • LAB輝度チャンネルのマルチスケールDoG処理
    色味の影響を受けにくいLAB色空間の輝度成分に対して複数スケールのDoG(Difference of Gaussians)を適用し、周囲からシャープに落ち込んだ暗点だけを拾います。
  • 8方向放射プロファイルと周囲リング検証
    候補点の中心から8方向に向かって輝度プロファイルを確認し、「全方向が滑らかな肌へ立ち上がっているか」「周囲の肌純度が高いか」を検証することで、輪郭線や細長い影・服の境界ノイズを弾いています。
  • Photoshop ExtendScript(ES3互換)との連携
    Photoshopのスクリプト環境は古いJavaScript仕様(ES3ベース)のため、自前のJSONパーサを組み込んで安全に座標を受け渡しています。日本語ファイルパスやインデックスカラー画像のRGB自動変換にも対応させました。

実務運用を意識した調整機能

現場の素材によって最適な感度は異なるため、最初から調整しやすい設計にしています。

  • 検出結果だけの事前確認(--detect-only)
    Photoshopを起動せず、赤丸プレビュー画像だけを先に出力して精度を確認できます。
  • パラメータの細かいチューニング
    DoG閾値、周囲の肌との輝度差、検出半径・面積の上下限、円形度などをコマンドライン引数で調整できます。Photoshop側の修復選択範囲の倍率やぼかし量もスクリプト上部で変更可能です。

導入の流れ(Windows / Photoshop環境)

MIT Licenseで公開しているため、個人・商用問わず自由に利用・改変していただけます。基本的なセットアップは以下の3ステップです。

  1. リポジトリを取得し、Python仮想環境で pip install -r requirements.txt を実行
  2. Google公式のMediaPipeモデル2ファイル(selfie_multiclass_256x256.tflite / face_landmarker.task)を models/ フォルダへ配置
  3. 対象の画像フォルダを run_mole_removal.bat にドラッグ&ドロップ

モデルの公式ダウンロードリンクや各種オプションの詳細は、GitHubのREADMEにまとめています。

GitHub: HideyukHira/photoshop-mole-remover

まとめ

AIによる認識処理(Python / MediaPipe / OpenCV)と、Photoshopなどの既存クリエイティブツールを連携させることで、「これまで人の目で確認して手作業するしかなかった定型レタッチ」も、品質を保ったまま大きく省力化できます。

大量の画像処理・自動レタッチの仕組みづくりや、AIと既存ソフトを組み合わせた業務自動化ツールの開発も承っていますので、似たような課題をお持ちの方はお気軽にご相談ください。