Распознавание автомобильного номера с изображения на C# (.NET)

Довелось мне не так давно помогать с запуском одного проекта под .NET на WCF — под x64 систему, проект нормально работал на x86 но отказывался работать на x64. В целом как я и ожидал проблема решалась довольно просто, помимо основной проблемы всплыло ещё несколько, в процессе решения которых пришлось познакомиться с очень интересной библиотекой Emgu CV, которая позволяет делать множество замечательных вещей, среди которых распознавание номера на изображении.

Благодаря этой библиотеке можно очень легко и просто внедрить распознавание номера в свою программу. Вот я и решил поделиться новым знанием, вдруг кому-то захочется что-то эдакое реализовать. Например мне сразу пришла в голову идея автоматически открывающегося шлагбаума, без всяких брелков. :) Качество распознавания, скажем — так себе, хотя возможно я просто не достаточно разобрался в возможностях, и всё делал как по умолчанию в примерах, но тем не менее поиграться стоит — вещь интересная.

В принципе, в комплекте с библиотекой есть целый набор примеров, в том числе и пример с распознаванием автомобильного номера. Но в этой публикации я приведу свой пример.

Итак, приступим…
Для того, чтобы всё заработало, нам понадобится сама библиотека, для этого идем на сайт Emgu CV и скачиваем вот эту версию:
Emgu.CV-3.1.0-r16.12. (На сегодняшний день она актуальна, но возможно когда вы будете читать эту публикацию выйдет посвежее)

Далее просто устанавливаем. (Выбираем или запоминаем папку в которую ставили)
После установки находим в созданной папке: \Solution\Windows.Desktop\Emgu.CV.Example.sln — Это тестовые примеры, для изучения.

Изучите, вот этот пример: License Plate Recognition


В нашем случае будем создавать новое консольное приложение, которое будет брать все фотографии с машинами в папке IMG и распознавать на них номера, и напишем программу с ноля.

Итак создаем проект в Visual Studio под названием SearchNumber

namespace SearchNumbers
{
    class Program
    {
        static void Main(string[] args)
        {
        }
    }
}

Добавляем в проект:
Emgu.CV.UI.dll
Emgu.CV.World.dll
+ System.Drawing — Его по умолчанию в консольном приложении нет.

Создаем в нашем проекте отдельный класс NumberDetector.cs, который будет распознавать номер.
Этот класс создан на основе тестового примера, слегка изменено описание и убран лишний функционал.

using System;
using System.Collections.Generic;
using System.Drawing;
using System.Text;
using Emgu.CV;
using Emgu.CV.CvEnum;
using Emgu.CV.OCR;
using Emgu.CV.Structure;
using Emgu.CV.Util;
using Emgu.Util;

namespace SearchNumbers
{
    /// <summary>
    /// Простой пример определения автомобильного номера
    /// </summary>
    class NumberDetector : DisposableObject
    {
        /// <summary>
        /// OCR Движок
        /// </summary>
        private Tesseract _ocr;

        /// <summary>
        /// Создает Оппределитель номера
        /// </summary>
        /// <param name="dataPath">
        /// Путь до папки tessdata её надо скопировать в готовый проект
        /// Путь должен заканчиваться / . Всё что после / будет стерто.
        /// </param>
        public NumberDetector(String dataPath)
        {
            //create OCR engine
            _ocr = new Tesseract(dataPath, "eng", OcrEngineMode.TesseractCubeCombined);
            _ocr.SetVariable("tessedit_char_whitelist", "ABCDEFGHIJKLMNOPQRSTUVWXYZ-1234567890");
        }



        /// <summary>
        /// Определяет номер из полученного изображения
        /// </summary>
        /// <param name="img">Изображение в котором будет происходить поиск номера</param>
        /// <param name="licensePlateImagesList">Список изображений найденных участков с номерами</param>
        /// <param name="filteredLicensePlateImagesList">Список изображений найденных участков с номерами (с удалением шума)</param>
        /// <param name="detectedLicensePlateRegionList">Список изображений найденных участков с номерами (контурный анализ MCvBox2D)</param>
        /// <returns>Список найденных номеров</returns>
        public List<String> DetectLicensePlate(
           IInputArray img,
           List<IInputOutputArray> licensePlateImagesList,
           List<IInputOutputArray> filteredLicensePlateImagesList,
           List<RotatedRect> detectedLicensePlateRegionList)
        {
            List<String> licenses = new List<String>();
            using (Mat gray = new Mat())
            using (Mat canny = new Mat())
            using (VectorOfVectorOfPoint contours = new VectorOfVectorOfPoint())
            {
                CvInvoke.CvtColor(img, gray, ColorConversion.Bgr2Gray);
                CvInvoke.Canny(gray, canny, 100, 50, 3, false);
                int[,] hierachy = CvInvoke.FindContourTree(canny, contours, ChainApproxMethod.ChainApproxSimple);

                FindLicensePlate(contours, hierachy, 0, gray, canny, licensePlateImagesList, filteredLicensePlateImagesList, detectedLicensePlateRegionList, licenses);
            }
            return licenses;
        }

        private static int GetNumberOfChildren(int[,] hierachy, int idx)
        {
            //Первое включение
            idx = hierachy[idx, 2];
            if (idx < 0)
                return 0;

            int count = 1;
            while (hierachy[idx, 0] > 0)
            {
                count++;
                idx = hierachy[idx, 0];
            }
            return count;
        }

        private void FindLicensePlate(
           VectorOfVectorOfPoint contours, int[,] hierachy, int idx, IInputArray gray, IInputArray canny,
           List<IInputOutputArray> licensePlateImagesList, List<IInputOutputArray> filteredLicensePlateImagesList, List<RotatedRect> detectedLicensePlateRegionList,
           List<String> licenses)
        {
            for (; idx >= 0; idx = hierachy[idx, 0])
            {
                int numberOfChildren = GetNumberOfChildren(hierachy, idx);
                //Если элемент не содержит (символов), то это не номер
                if (numberOfChildren == 0) continue;

                using (VectorOfPoint contour = contours[idx])
                {
                    if (CvInvoke.ContourArea(contour) > 400)
                    {
                        if (numberOfChildren < 3)
                        {
                            //Если нашли менее 3-х символов, то не считаем это номером
                            //При этом надо проверить содержимое каждого элемента внутри может содержаться номер.
                            FindLicensePlate(contours, hierachy, hierachy[idx, 2], gray, canny, licensePlateImagesList,
                               filteredLicensePlateImagesList, detectedLicensePlateRegionList, licenses);
                            continue;
                        }

                        RotatedRect box = CvInvoke.MinAreaRect(contour);
                        if (box.Angle < -45.0)
                        {
                            float tmp = box.Size.Width;
                            box.Size.Width = box.Size.Height;
                            box.Size.Height = tmp;
                            box.Angle += 90.0f;
                        }
                        else if (box.Angle > 45.0)
                        {
                            float tmp = box.Size.Width;
                            box.Size.Width = box.Size.Height;
                            box.Size.Height = tmp;
                            box.Angle -= 90.0f;
                        }

                        double whRatio = (double)box.Size.Width / box.Size.Height;
                        if (!(3.0 < whRatio && whRatio < 10.0))
                        //if (!(1.0 < whRatio && whRatio < 2.0))
                        {
                            //если соотношение сторон не соответствует, то это не номер авто.
                            //Однако мы должны проверить вложения, номер может находиться внутри контура
                            //Contour<Point> child = contours.VNext;
                            if (hierachy[idx, 2] > 0)
                                FindLicensePlate(contours, hierachy, hierachy[idx, 2], gray, canny, licensePlateImagesList,
                                   filteredLicensePlateImagesList, detectedLicensePlateRegionList, licenses);
                            continue;
                        }

                        using (UMat tmp1 = new UMat())
                        using (UMat tmp2 = new UMat())
                        {
                            PointF[] srcCorners = box.GetVertices();

                            PointF[] destCorners = new PointF[] {
                        new PointF(0, box.Size.Height - 1),
                        new PointF(0, 0),
                        new PointF(box.Size.Width - 1, 0),
                        new PointF(box.Size.Width - 1, box.Size.Height - 1)};

                            using (Mat rot = CvInvoke.GetAffineTransform(srcCorners, destCorners))
                            {
                                CvInvoke.WarpAffine(gray, tmp1, rot, Size.Round(box.Size));
                            }

                            //изменяем размер номера таким образом чтобы размер шрифта был примерно 10-12. Это даст большую точность
                            Size approxSize = new Size(240, 180);
                            double scale = Math.Min(approxSize.Width / box.Size.Width, approxSize.Height / box.Size.Height);
                            Size newSize = new Size((int)Math.Round(box.Size.Width * scale), (int)Math.Round(box.Size.Height * scale));
                            CvInvoke.Resize(tmp1, tmp2, newSize, 0, 0, Inter.Cubic);

                            //делаем отступы от краев
                            int edgePixelSize = 2;
                            Rectangle newRoi = new Rectangle(new Point(edgePixelSize, edgePixelSize),
                               tmp2.Size - new Size(2 * edgePixelSize, 2 * edgePixelSize));
                            UMat plate = new UMat(tmp2, newRoi);

                            UMat filteredPlate = FilterPlate(plate);

                            Tesseract.Character[] words;
                            StringBuilder strBuilder = new StringBuilder();
                            using (UMat tmp = filteredPlate.Clone())
                            {
                                _ocr.Recognize(tmp);
                                words = _ocr.GetCharacters();

                                if (words.Length == 0) continue;

                                for (int i = 0; i < words.Length; i++)
                                {
                                    strBuilder.Append(words[i].Text);
                                }
                            }

                            licenses.Add(strBuilder.ToString());
                            licensePlateImagesList.Add(plate);
                            filteredLicensePlateImagesList.Add(filteredPlate);
                            detectedLicensePlateRegionList.Add(box);

                        }
                    }
                }
            }
        }

        /// <summary>
        /// Фильтр номера - убирает шум
        /// </summary>
        /// <param name="plate">Изображение номера</param>
        /// <returns>Изображение номера без шума</returns>
        private static UMat FilterPlate(UMat plate)
        {
            UMat thresh = new UMat();
            CvInvoke.Threshold(plate, thresh, 120, 255, ThresholdType.BinaryInv);
            //Image<Gray, Byte> thresh = plate.ThresholdBinaryInv(new Gray(120), new Gray(255));

            Size plateSize = plate.Size;
            using (Mat plateMask = new Mat(plateSize.Height, plateSize.Width, DepthType.Cv8U, 1))
            using (Mat plateCanny = new Mat())
            using (VectorOfVectorOfPoint contours = new VectorOfVectorOfPoint())
            {
                plateMask.SetTo(new MCvScalar(255.0));
                CvInvoke.Canny(plate, plateCanny, 100, 50);
                CvInvoke.FindContours(plateCanny, contours, null, RetrType.External, ChainApproxMethod.ChainApproxSimple);

                int count = contours.Size;
                for (int i = 1; i < count; i++)
                {
                    using (VectorOfPoint contour = contours[i])
                    {

                        Rectangle rect = CvInvoke.BoundingRectangle(contour);
                        if (rect.Height > (plateSize.Height >> 1))
                        {
                            rect.X -= 1; rect.Y -= 1; rect.Width += 2; rect.Height += 2;
                            Rectangle roi = new Rectangle(Point.Empty, plate.Size);
                            rect.Intersect(roi);
                            CvInvoke.Rectangle(plateMask, rect, new MCvScalar(), -1);
                            //plateMask.Draw(rect, new Gray(0.0), -1);
                        }
                    }

                }

                thresh.SetTo(new MCvScalar(), plateMask);
            }

            CvInvoke.Erode(thresh, thresh, null, new Point(-1, -1), 1, BorderType.Constant, CvInvoke.MorphologyDefaultBorderValue);
            CvInvoke.Dilate(thresh, thresh, null, new Point(-1, -1), 1, BorderType.Constant, CvInvoke.MorphologyDefaultBorderValue);

            return thresh;
        }

        protected override void DisposeObject()
        {
            _ocr.Dispose();
        }
    }
}

Этот код — всего лишь несколько переработанная часть кода из примера.

Теперь напишем саму программу:

using System;
using System.Collections.Generic;
using System.Drawing;
using Emgu.CV;
using Emgu.CV.Structure;
using System.Diagnostics;
using Emgu.CV.Util;
using Emgu.CV.CvEnum;
using System.IO;

namespace SearchNumbers
{
    class Program
    {
        private static NumberDetector _numberDetector;

        static void Main(string[] args)
        {
            //Перебираем все *.jpg в папке img
            string dir_name = Directory.GetCurrentDirectory() + "\\img\\";
            DirectoryInfo dir = new DirectoryInfo(dir_name);
            foreach(FileInfo file in dir.GetFiles("*.jpg"))
            {
                SaveInFile(dir_name+file.Name);

                _numberDetector = new NumberDetector("");


                //Способ конвертировать из обычного Image - медленнее но может пригодиться.
                Image img_ext = Image.FromFile(dir_name + file.Name);
                Mat img = GetMatFromSDImage(img_ext);

                //Способ взять сразу картинку с диска как Mat.
                //Mat img;
                //img = CvInvoke.Imread("c:\\IMG\\960.jpg");



                UMat uImg = img.GetUMat(AccessType.ReadWrite);
                string res = ProcessImage(uImg);

                SaveInFile(res);
                SaveInFile("");
            }
            Console.WriteLine("Нажмите любую клавишу чтобы закрыть приложение.");
            //Закончили и ждем когда нажмут клавишу чтобы выйти.
            Console.ReadKey();
        }

        /// <summary>
        /// Преобразует изображение Image в Mat
        /// </summary>
        private static Mat GetMatFromSDImage(System.Drawing.Image image)
        {
            int stride = 0;
            Bitmap bmp = new Bitmap(image);

            System.Drawing.Rectangle rect = new System.Drawing.Rectangle(0, 0, bmp.Width, bmp.Height);
            System.Drawing.Imaging.BitmapData bmpData = bmp.LockBits(rect, System.Drawing.Imaging.ImageLockMode.ReadWrite, bmp.PixelFormat);

            System.Drawing.Imaging.PixelFormat pf = bmp.PixelFormat;
            if (pf == System.Drawing.Imaging.PixelFormat.Format32bppArgb)
            {
                stride = bmp.Width * 4;
            }
            else
            {
                stride = bmp.Width * 3;
            }

            Image<Bgra, byte> cvImage = new Image<Bgra, byte>(bmp.Width, bmp.Height, stride, (IntPtr)bmpData.Scan0);

            bmp.UnlockBits(bmpData);

            return cvImage.Mat;
        }

        /// <summary>
        /// Обработка изображения
        /// </summary>
        private static string ProcessImage(IInputOutputArray image)
        {

            Stopwatch watch = Stopwatch.StartNew(); //Засекаем время, чтобы понять сколько ушло на обработку

            List<IInputOutputArray> licensePlateImagesList = new List<IInputOutputArray>();
            List<IInputOutputArray> filteredLicensePlateImagesList = new List<IInputOutputArray>();
            List<RotatedRect> licenseBoxList = new List<RotatedRect>();
            List<string> words = _numberDetector.DetectLicensePlate(
               image,
               licensePlateImagesList,
               filteredLicensePlateImagesList,
               licenseBoxList);

            watch.Stop(); //Останавливаем таймер - узнали время выполнения


            Point startPoint = new Point(10, 10);
            string res = "";
            for (int i = 0; i < words.Count; i++)
            {
                Mat dest = new Mat();
                CvInvoke.VConcat(licensePlateImagesList[i], filteredLicensePlateImagesList[i], dest);

                //Показываем то, что получилось
                SaveInFile(String.Format("Номер: {0}", words[i]));

                res = words[i];
                PointF[] verticesF = licenseBoxList[i].GetVertices();
                Point[] vertices = Array.ConvertAll(verticesF, Point.Round);
                using (VectorOfPoint pts = new VectorOfPoint(vertices))
                    CvInvoke.Polylines(image, pts, true, new Bgr(Color.Red).MCvScalar, 2);

            }
            return String.Format("Время распознавания номера : {0} в миллисекундах", watch.Elapsed.TotalMilliseconds); ;

        }

        /// <summary>
        /// Ведет лог в файл, вместе с выводом в консоль.
        /// </summary>
        private static void SaveInFile(string mess)
        {
            try
            {
                string file_name_p = "Car_Numbers_"+DateTime.Now.ToString("yyMMdd", System.Globalization.CultureInfo.InvariantCulture);
                using (StreamWriter writer = new StreamWriter(file_name_p + ".log", true))
                {
                    Console.WriteLine(mess);
                    writer.WriteLine(DateTime.Now.ToString("yyyy.MM.dd HH:mm:ss.ffffff") + " :>> " + mess);
                }
            }
            catch
            {
            }
        }
    }
}

Описывать код думаю нет смысла, он достаточно комментирован.

После того как запустили программу должны увидеть распознанные номера с картинок в папке IMG.

Выглядеть должно примерно так:


В дополнение рядом с исполняемым файлом будет создан *.log файл, в который выгрузится всё — то же самое.

Надеюсь кому нибудь кроме меня это ещё пригодится. :)