【電子取引保存法への対抗】面倒な記帳の作業を自動化する

確定申告の時期ということで色々機運が高まったので、自動化を試みます。

記帳の作業を自動化できた

どのように動くかは画像だとわかりやすいと思うので、そちらを載せます。

インプット: レシート画像をアップロードする

一番下の行に注目してください。日付以外の情報は何も入力されていません。

アウトプット: こんな感じで記録される

アップロードされたレシート画像に基づいて、必要な項目が自動で保存されます。自動生成された日付データもレシート画像に記載されている取引日に更新されます。

結果として、人力で行う作業は画像をアップロードするだけとなったので、非常に気に入っています。

本システムにおいて活用している2つのAIについて

挙動を実現するために2種類のAIの力を借りています。今回はこのAIについて紹介します。

1/ Document AI

Googleが提供している文字認識のAIです。画像から文字を読み取ることを技術者はOCRとか格好つけて言うのですが、まぁそんなことはどうでもいいですね。

Document AIはブラウザからも試せます。これは実際にアップロードしてみた画像です。レシートがだいぶくしゃくしゃになっていますが、読み取り精度の高さに驚きます。

Document AIが抽出したテキスト

STARBUCKS 札幌北野店 #1431 TEL 011-888-0035 1 S 7x th マグ 301 Starbucks eGift適用 本体合計(1点) (10%対象 総合計 455 (カスタム) 455 455 消費税 45) 500 Starbucks eGift (つり銭なし 500 釣り 0 「軽」印は軽減税率(8%)適用商品 For Here 030162350103 4068 2024/02/20 14:21:27 スターバックスコーヒージャパン株式会社 登録番号 7011001031943 発行日: 02/20 二次元コードを読み込んで ひと足早いお花見体験、 満開の桜と 踊るベアリスタAR #スターバックスさくら 2024 https://sbux.jp/sakuraa2024_receipt 毎月20日は ETHICALLY CONNECTING DAY エシカルなコーヒーの日 公式サイトでブラックエプロン バリスタの コーヒーストーリー ゼロ

2/ OpenAI

続いてこのテキストから電子取引保存に必要な項目とその値を抽出し、データ化します。この作業もAIに行なってもらいます。活用するのは、ChatGPTでお馴染みの会社である、OpenAIのAIです。

実際にデータ化されたもの

先ほどの抽出したテキストから台帳の保存に必要な項目をデータ化した結果がこちらです。

例えばAccounts(勘定科目)は、あらかじめ与えている複数の候補の中から最も相応しいと思われるものを推論させています。
細かく指定せずともいい感じにやってくれるのが、なんというかAIって感じですね！

所感

冒頭に書いたようにだいぶ後ろ向きの理由から始めましたが、AIの威力を痛感しながら楽しく開発できました。また、ChatGPTのおかげで調べたりする時間が大幅に短縮されたように思います

スプレッドシート等でも同じ要領で自動化可能

DBにアイテムが追加された、更新された。といったイベントをトリガーにして処理を開始する必要があります。このためには外部連携ツールを使っています。要するに外部連携ツールさえ対応していれば、同じ要領で自動化が可能です。メジャーなものであればだいたい対応しているはずです。

外部連携ツールについて軽く説明を加えます。基本的に使うことで異なるツール間を連携させるために使われます。(Gmailの内容をSlackに自動通知する…etc)
例えば有名どころとしてはZapierや今回活用したmakeがあります。

技術者向けの解説について

別サイトにて技術者向けにより詳しい解説を載せています。もし興味のある方はこちらをどうぞ