【Unity + AI】写真から手書きのメモを読み取りテキスト化する

いわゆるOCRをUnityでできないかと思って試しました。

【結論】

Microsoft Azure の Cognitive Servicesを使ってできました。

Azureのサービスを他でも個人的に使ってるからAzureに寄っただけで、多分別の方法でも色々あるとは思います。

【使用例】

たとえば、こんなフセンがデスクに貼られていたとします。

色々な種類の文字を入れたくて奇妙な伝言になってます

下記の方の動画を参考にしながらAPIを呼び出しました。

www.youtube.com

同じ方が公開されてるデモをGitHubからDLします。

UnityからRESTful APIを呼び出せるプロジェクトです。

github.com

DLしたプロジェクトを開くと、「RestClientAzureDemo」というSceneがあるのでそれを開きます。

それに、RestwebClientというオブジェクトにアタッチされたRestClientExample.csがあるので、情報が古くなってる部分をMicrosoftのサイトを参考に修正します。

learn.microsoft.com

例えば、ここを、

    private string baseUrl = "https://westcentralus.api.cognitive.microsoft.com/vision/v2.0/ocr?language=unk&detectOrientation=true";

こうします

"https://(ENDPOINT)/computervision/imageanalysis:analyze&api-version=2023-02-01-preview&features=read&language=ja"

あと、日本語を取得したいのでとりあえず今回はレガシーのTextを追加しておいて、

このプロジェクトだと、Responce.csでクラスを定義していて、その中のDataに結果が格納されるみたいなので、

using System.Collections.Generic;

namespace RestClient.Core.Models
{
    public class Response
    {
        public long StatusCode { get; set; }

        public string Error { get;set; }

        public string Data { get; set; }  

        public Dictionary<string, string> Headers {get; set;} 
    }
}

追加したテキストにResponce.Dataを入れるコードを追記します。