摄像头传输的原始数据是彩色数据，彩色图像的每个像素点具有红绿蓝三种颜色分量。在图像的实际处理过程中，如果对RGB565格式的彩色像素数据直接进行处理，一方面，会直接增加整个处理器的运算量，将直接影响到系统的读写带宽，最终导致系统难以达到对图像实时、快速的处理要求。另一方面，影响图像运动目标检测的关键因素在于摄像头采集得到的图像结构而非图像颜色。因此，在整个手写数字识别系统中图像数据主要采用灰度化以及二值化的像素数据，而非原始的RGB565格式的彩色图像数据。
图像灰度化处理主要是将RGB空间的像素数据映射到YUV空间的像素数据，整个过程实际上是完成了红绿蓝颜色分量到亮度色度分量的转换。图像灰度化主要有最大值法、平均值法、加权均值法等多种方法，其中加权均值法在图像灰度化过程中获得了广泛的应用。加权均值法在图像的灰度化过程中充分考虑了人眼对不同颜色分量的敏感程度，其主要反映在转换公式中不同颜色分量的权重值，下式是本系统采用的加权均值法灰度转换公式，公式中的R表示像素数据的8位红色分量，G表示像素数据的8位绿色分量，B表示像素数据的8位蓝色分量。
Y = 0.299R +0.587G + 0.114B
对RGB565格式的像素数据进行灰度化的过程中，需要考虑两方面的内容：一是在实际的硬件电路中是无法进行小数运算，因此需要用定点化运算和位移运算来实现小数运算过程；二是上式中所要求的所要求的红绿蓝分量的数据表示格式为8位二进制，因此需要对RGB565格式的像素数据的红绿蓝颜色分量进行位拓展，将其转换为8位二进制格式的颜色分量。