如何从UIImage(可可触摸)或CGImage(核心图形)获取像素数据?


200

我有一个UIImage(可可粉)。由此,我很高兴获得CGImage或您想要的其他任何可用的东西。我想写这个函数:

- (int)getRGBAFromImage:(UIImage *)image atX:(int)xx andY:(int)yy {
  // [...]
  // What do I want to read about to help
  // me fill in this bit, here?
  // [...]

  int result = (red << 24) | (green << 16) | (blue << 8) | alpha;
  return result;
}

Answers:


249

仅供参考,我将Keremk的答案与我的原始轮廓结合起来,清理了错别字,将其归一化以返回一系列颜色,并使整个内容得以编译。结果如下:

+ (NSArray*)getRGBAsFromImage:(UIImage*)image atX:(int)x andY:(int)y count:(int)count
{
    NSMutableArray *result = [NSMutableArray arrayWithCapacity:count];

    // First get the image into your data buffer
    CGImageRef imageRef = [image CGImage];
    NSUInteger width = CGImageGetWidth(imageRef);
    NSUInteger height = CGImageGetHeight(imageRef);
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    unsigned char *rawData = (unsigned char*) calloc(height * width * 4, sizeof(unsigned char));
    NSUInteger bytesPerPixel = 4;
    NSUInteger bytesPerRow = bytesPerPixel * width;
    NSUInteger bitsPerComponent = 8;
    CGContextRef context = CGBitmapContextCreate(rawData, width, height,
                    bitsPerComponent, bytesPerRow, colorSpace,
                    kCGImageAlphaPremultipliedLast | kCGBitmapByteOrder32Big);
    CGColorSpaceRelease(colorSpace);

    CGContextDrawImage(context, CGRectMake(0, 0, width, height), imageRef);
    CGContextRelease(context);

    // Now your rawData contains the image data in the RGBA8888 pixel format.
    NSUInteger byteIndex = (bytesPerRow * y) + x * bytesPerPixel;
    for (int i = 0 ; i < count ; ++i)
    {
        CGFloat alpha = ((CGFloat) rawData[byteIndex + 3] ) / 255.0f;
        CGFloat red   = ((CGFloat) rawData[byteIndex]     ) / alpha;
        CGFloat green = ((CGFloat) rawData[byteIndex + 1] ) / alpha;
        CGFloat blue  = ((CGFloat) rawData[byteIndex + 2] ) / alpha;
        byteIndex += bytesPerPixel;

        UIColor *acolor = [UIColor colorWithRed:red green:green blue:blue alpha:alpha];
        [result addObject:acolor];
    }

  free(rawData);

  return result;
}

4
不要忘记将颜色预乘。同样,那些乘以1的操作也不起作用。
Peter Hosey 2010年

2
即使是正确的。当count是一个很大的数字(例如图像的一行的长度或整个图像的大小!)时,由于太多的UIColor对象确实很重,因此我的这种方法的性能不好。在现实生活中,当我需要一个像素时,UIColor就可以了(UIColors的NSArray对我来说太多了)。当您需要一堆颜色时,我将不使用UIColors,因为我可能会使用OpenGL等。在我看来,这种方法没有现实生活中的用途,但是非常适合用于教育目的。
nacho4d 2011年

4
太麻烦了,分配一个大空间只能读取一个像素。
ragnarius

46
使用CALLOC代替MALLOC !!!! 我正在使用此代码测试某些像素是否透明,并且我又回到虚假信息中,因为没有先清除内存,所以这些像素本来就是透明的。使用calloc(width * height,4)代替malloc可以解决问题。其余的代码很棒,谢谢!
DonnaLea

5
这很棒。谢谢。使用注意事项:x和y是开始从中获取RGBA的图像中的坐标,“ count”是从该点开始获取的像素数(从左到右,然后逐行)。用法示例:获取整个图像的getRGBAsFromImage:image atX:0 andY:0 count:image.size.width*image.size.height RGBA :获取图像 最后一行的RGBA:getRGBAsFromImage:image atX:0 andY:image.size.height-1 count:image.size.width
哈里斯(Harris)

49

一种方法是将图像绘制到位图上下文中,该位图上下文由给定缓冲区针对给定色彩空间(在本例中为RGB)支持:(请注意,这会将图像数据复制到该缓冲区,因此您可以想要缓存它,而不是每次需要获取像素值时都执行此操作)

参见以下示例:

// First get the image into your data buffer
CGImageRef image = [myUIImage CGImage];
NSUInteger width = CGImageGetWidth(image);
NSUInteger height = CGImageGetHeight(image);
CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
unsigned char *rawData = malloc(height * width * 4);
NSUInteger bytesPerPixel = 4;
NSUInteger bytesPerRow = bytesPerPixel * width;
NSUInteger bitsPerComponent = 8;
CGContextRef context = CGBitmapContextCreate(rawData, width, height, bitsPerComponent, bytesPerRow, colorSpace, kCGImageAlphaPremultipliedLast | kCGBitmapByteOrder32Big);
CGColorSpaceRelease(colorSpace);

CGContextDrawImage(context, CGRectMake(0, 0, width, height));
CGContextRelease(context);

// Now your rawData contains the image data in the RGBA8888 pixel format.
int byteIndex = (bytesPerRow * yy) + xx * bytesPerPixel;
red = rawData[byteIndex];
green = rawData[byteIndex + 1];
blue = rawData[byteIndex + 2];
alpha = rawData[byteIndex + 3];

我在我的应用中做了类似的事情。要提取任意像素,只需将其绘制成具有已知位图格式的1x1位图,并适当调整CGBitmapContext的原点即可。
Mark Bessey

5
这会泄漏内存。发布rawData:free(rawData);
亚当·怀特

5
CGContextDrawImage需要三个参数,上面只给出了两个...我认为应该是CGContextDrawImage(context, CGRectMake(0, 0, width, height), image)
user1135469

25

苹果公司的技术问答QA1509显示了以下简单方法:

CFDataRef CopyImagePixels(CGImageRef inImage)
{
    return CGDataProviderCopyData(CGImageGetDataProvider(inImage));
}

使用CFDataGetBytePtr去实际字节(和各种CGImageGet*方法来了解如何对其进行解释)。


10
这不是一个好方法,因为每个图像的像素格式往往相差很大。可以更改的内容有很多,包括1.图像的方向2. alpha分量的格式和3. RGB的字节顺序。我个人已经花了一些时间尝试对如何执行此操作的Apple文档进行解码,但是我不确定是否值得。如果您想快速完成,请使用keremk的解决方案。
泰勒

1
即使我保存了图像(从我的应用程序中在色彩空间RGBA中保存),此方法也始终为我提供BGR格式
Soumyajit 2013年

1
@Soumyaljit这将以CGImageRef数据最初存储的格式复制数据。在大多数情况下,这将是BGRA,但也可能是YUV。
卡梅隆·洛厄尔·帕尔默

18

无法相信这里没有一个正确的答案。无需分配指针,并且未乘的值仍然需要进行规范化。顺理成章,这是Swift 4的正确版本。UIImage只需使用即可.cgImage

extension CGImage {
    func colors(at: [CGPoint]) -> [UIColor]? {
        let colorSpace = CGColorSpaceCreateDeviceRGB()
        let bytesPerPixel = 4
        let bytesPerRow = bytesPerPixel * width
        let bitsPerComponent = 8
        let bitmapInfo: UInt32 = CGImageAlphaInfo.premultipliedLast.rawValue | CGBitmapInfo.byteOrder32Big.rawValue

        guard let context = CGContext(data: nil, width: width, height: height, bitsPerComponent: bitsPerComponent, bytesPerRow: bytesPerRow, space: colorSpace, bitmapInfo: bitmapInfo),
            let ptr = context.data?.assumingMemoryBound(to: UInt8.self) else {
            return nil
        }

        context.draw(self, in: CGRect(x: 0, y: 0, width: width, height: height))

        return at.map { p in
            let i = bytesPerRow * Int(p.y) + bytesPerPixel * Int(p.x)

            let a = CGFloat(ptr[i + 3]) / 255.0
            let r = (CGFloat(ptr[i]) / a) / 255.0
            let g = (CGFloat(ptr[i + 1]) / a) / 255.0
            let b = (CGFloat(ptr[i + 2]) / a) / 255.0

            return UIColor(red: r, green: g, blue: b, alpha: a)
        }
    }
}

您必须首先将图像绘制/转换为缓冲区的原因是,图像可以具有几种不同的格式。需要执行此步骤才能将其转换为可以阅读的一致格式。


如何将扩展名用于图像?let imageObj = UIImage(named:“ greencolorImg.png”)
Sagar Sukode

let imageObj = UIImage(named:"greencolorImg.png"); imageObj.cgImage?.colors(at: [pt1, pt2])
Erik Aigner '18

请记住,pt1并且pt2CGPoint变量。
AnBisw

保存了我的一天:)
达里(Dari)'18

1
如果我想获取图像每个像素的颜色,@ ErikAigner会起作用吗?性能成本是多少?
Ameet Dhas

9

这是一个SO 线程,其中@Matt通过移动图像仅将所需像素渲染到1x1上下文中,以便所需像素与上下文中的一个像素对齐。


9
NSString * path = [[NSBundle mainBundle] pathForResource:@"filename" ofType:@"jpg"];
UIImage * img = [[UIImage alloc]initWithContentsOfFile:path];
CGImageRef image = [img CGImage];
CFDataRef data = CGDataProviderCopyData(CGImageGetDataProvider(image));
const unsigned char * buffer =  CFDataGetBytePtr(data);

我发布了它,它对我有用,但是从缓冲区回到我似乎还无法弄清楚的UIImage,有什么想法吗?
Nidal Fakhouri 2010年

8

UIImage是包装器,字节是CGImage或CIImage

根据UIImage上Apple Reference,该对象是不可变的,您无权访问后备字节。的确,如果UIImage使用CGImage(显式或隐式)填充,则可以访问CGImage数据,但NULL如果UIImage由a支持,则将返回CGImage数据,CIImage反之亦然。

图像对象不能直接访问其基础图像数据。但是,您可以检索其他格式的图像数据以在您的应用中使用。具体来说,您可以使用cgImage和ciImage属性分别检索与Core Graphics和Core Image兼容的图像版本。您还可以使用UIImagePNGRepresentation(:)和UIImageJPEGRepresentation(:_ :)函数来生成NSData对象,该对象包含PNG或JPEG格式的图像数据。

解决此问题的常用技巧

如前所述,您的选择是

  • UIImagePNGRepresentation或JPEG
  • 确定图像是否具有CGImage或CIImage支持数据,然后将其获取

如果您要输出的不是ARGB,PNG或JPEG数据,并且CIImage还不支持该数据,则这两个都不是特别好的技巧。

我的建议,尝试CIImage

在开发项目时,完全避免使用UIImage并选择其他内容可能对您更有意义。作为Obj-C图像包装器的UIImage通常由CGImage支持到我们认为理所当然的程度。CIImage往往是一种更好的包装格式,因为您可以使用CIContext来获得所需的格式,而无需知道它是如何创建的。在您的情况下,获取位图只需调用

-render:toBitmap:rowBytes:bounds:format:colorSpace:

另外,您可以通过将滤镜链接到图像上来开始对图像进行不错的处理。这解决了许多问题,其中图像倒置或需要旋转/缩放等。


6

基于Olie和Algal的答案,这是Swift 3的更新答案

public func getRGBAs(fromImage image: UIImage, x: Int, y: Int, count: Int) -> [UIColor] {

var result = [UIColor]()

// First get the image into your data buffer
guard let cgImage = image.cgImage else {
    print("CGContext creation failed")
    return []
}

let width = cgImage.width
let height = cgImage.height
let colorSpace = CGColorSpaceCreateDeviceRGB()
let rawdata = calloc(height*width*4, MemoryLayout<CUnsignedChar>.size)
let bytesPerPixel = 4
let bytesPerRow = bytesPerPixel * width
let bitsPerComponent = 8
let bitmapInfo: UInt32 = CGImageAlphaInfo.premultipliedLast.rawValue | CGBitmapInfo.byteOrder32Big.rawValue

guard let context = CGContext(data: rawdata, width: width, height: height, bitsPerComponent: bitsPerComponent, bytesPerRow: bytesPerRow, space: colorSpace, bitmapInfo: bitmapInfo) else {
    print("CGContext creation failed")
    return result
}

context.draw(cgImage, in: CGRect(x: 0, y: 0, width: width, height: height))

// Now your rawData contains the image data in the RGBA8888 pixel format.
var byteIndex = bytesPerRow * y + bytesPerPixel * x

for _ in 0..<count {
    let alpha = CGFloat(rawdata!.load(fromByteOffset: byteIndex + 3, as: UInt8.self)) / 255.0
    let red = CGFloat(rawdata!.load(fromByteOffset: byteIndex, as: UInt8.self)) / alpha
    let green = CGFloat(rawdata!.load(fromByteOffset: byteIndex + 1, as: UInt8.self)) / alpha
    let blue = CGFloat(rawdata!.load(fromByteOffset: byteIndex + 2, as: UInt8.self)) / alpha
    byteIndex += bytesPerPixel

    let aColor = UIColor(red: red, green: green, blue: blue, alpha: alpha)
    result.append(aColor)
}

free(rawdata)

return result
}


3

Swift 5版本

此处给出的答案过时或不正确,因为它们没有考虑以下因素:

  1. 图像的像素大小可以与image.size.width/ 返回的点大小不同。image.size.height
  2. 图像中的像素组件可以使用各种布局,例如BGRA,ABGR,ARGB等,也可以根本不具有alpha组件,例如BGR和RGB。例如,UIView.drawHierarchy(in:afterScreenUpdates:)方法可以产生BGRA图像。
  3. 可以对图像中的所有像素将颜色分量预乘以alpha,并且需要将其除以alpha以恢复原始颜色。
  4. 对于所使用的内存优化CGImage,像素行的大小(以字节为单位)可以大于像素宽度乘以4的大小。

下面的代码提供了通用的Swift 5解决方案,以UIColor针对所有此类特殊情况获取像素。该代码针对可用性和清晰度进行了优化,而不是针对性能进行了优化。

public extension UIImage {

    var pixelWidth: Int {
        return cgImage?.width ?? 0
    }

    var pixelHeight: Int {
        return cgImage?.height ?? 0
    }

    func pixelColor(x: Int, y: Int) -> UIColor {
        assert(
            0..<pixelWidth ~= x && 0..<pixelHeight ~= y,
            "Pixel coordinates are out of bounds")

        guard
            let cgImage = cgImage,
            let data = cgImage.dataProvider?.data,
            let dataPtr = CFDataGetBytePtr(data),
            let colorSpaceModel = cgImage.colorSpace?.model,
            let componentLayout = cgImage.bitmapInfo.componentLayout
        else {
            assertionFailure("Could not get a pixel of an image")
            return .clear
        }

        assert(
            colorSpaceModel == .rgb,
            "The only supported color space model is RGB")
        assert(
            cgImage.bitsPerPixel == 32 || cgImage.bitsPerPixel == 24,
            "A pixel is expected to be either 4 or 3 bytes in size")

        let bytesPerRow = cgImage.bytesPerRow
        let bytesPerPixel = cgImage.bitsPerPixel/8
        let pixelOffset = y*bytesPerRow + x*bytesPerPixel

        if componentLayout.count == 4 {
            let components = (
                dataPtr[pixelOffset + 0],
                dataPtr[pixelOffset + 1],
                dataPtr[pixelOffset + 2],
                dataPtr[pixelOffset + 3]
            )

            var alpha: UInt8 = 0
            var red: UInt8 = 0
            var green: UInt8 = 0
            var blue: UInt8 = 0

            switch componentLayout {
            case .bgra:
                alpha = components.3
                red = components.2
                green = components.1
                blue = components.0
            case .abgr:
                alpha = components.0
                red = components.3
                green = components.2
                blue = components.1
            case .argb:
                alpha = components.0
                red = components.1
                green = components.2
                blue = components.3
            case .rgba:
                alpha = components.3
                red = components.0
                green = components.1
                blue = components.2
            default:
                return .clear
            }

            // If chroma components are premultiplied by alpha and the alpha is `0`,
            // keep the chroma components to their current values.
            if cgImage.bitmapInfo.chromaIsPremultipliedByAlpha && alpha != 0 {
                let invUnitAlpha = 255/CGFloat(alpha)
                red = UInt8((CGFloat(red)*invUnitAlpha).rounded())
                green = UInt8((CGFloat(green)*invUnitAlpha).rounded())
                blue = UInt8((CGFloat(blue)*invUnitAlpha).rounded())
            }

            return .init(red: red, green: green, blue: blue, alpha: alpha)

        } else if componentLayout.count == 3 {
            let components = (
                dataPtr[pixelOffset + 0],
                dataPtr[pixelOffset + 1],
                dataPtr[pixelOffset + 2]
            )

            var red: UInt8 = 0
            var green: UInt8 = 0
            var blue: UInt8 = 0

            switch componentLayout {
            case .bgr:
                red = components.2
                green = components.1
                blue = components.0
            case .rgb:
                red = components.0
                green = components.1
                blue = components.2
            default:
                return .clear
            }

            return .init(red: red, green: green, blue: blue, alpha: UInt8(255))

        } else {
            assertionFailure("Unsupported number of pixel components")
            return .clear
        }
    }

}

public extension UIColor {

    convenience init(red: UInt8, green: UInt8, blue: UInt8, alpha: UInt8) {
        self.init(
            red: CGFloat(red)/255,
            green: CGFloat(green)/255,
            blue: CGFloat(blue)/255,
            alpha: CGFloat(alpha)/255)
    }

}

public extension CGBitmapInfo {

    enum ComponentLayout {

        case bgra
        case abgr
        case argb
        case rgba
        case bgr
        case rgb

        var count: Int {
            switch self {
            case .bgr, .rgb: return 3
            default: return 4
            }
        }

    }

    var componentLayout: ComponentLayout? {
        guard let alphaInfo = CGImageAlphaInfo(rawValue: rawValue & Self.alphaInfoMask.rawValue) else { return nil }
        let isLittleEndian = contains(.byteOrder32Little)

        if alphaInfo == .none {
            return isLittleEndian ? .bgr : .rgb
        }
        let alphaIsFirst = alphaInfo == .premultipliedFirst || alphaInfo == .first || alphaInfo == .noneSkipFirst

        if isLittleEndian {
            return alphaIsFirst ? .bgra : .abgr
        } else {
            return alphaIsFirst ? .argb : .rgba
        }
    }

    var chromaIsPremultipliedByAlpha: Bool {
        let alphaInfo = CGImageAlphaInfo(rawValue: rawValue & Self.alphaInfoMask.rawValue)
        return alphaInfo == .premultipliedFirst || alphaInfo == .premultipliedLast
    }

}

方向变化如何?您也不需要检查UIImage.Orientation吗?
endavid

另外,componentLayout当只有alpha时,您会错过这种情况.alphaOnly
endavid

不支持@endavid“仅Alpha”(这是非常罕见的情况)。图像方向不在此代码的范围内,但是有足够的资源介绍如何规范a的方向UIImage,这是在开始读取其像素颜色之前要做的。
Desmond Hume

2

基于不同的答案,但主要基于,这可以满足我的需求:

UIImage *image1 = ...; // The image from where you want a pixel data
int pixelX = ...; // The X coordinate of the pixel you want to retrieve
int pixelY = ...; // The Y coordinate of the pixel you want to retrieve

uint32_t pixel1; // Where the pixel data is to be stored
CGContextRef context1 = CGBitmapContextCreate(&pixel1, 1, 1, 8, 4, CGColorSpaceCreateDeviceRGB(), kCGImageAlphaNoneSkipFirst);
CGContextDrawImage(context1, CGRectMake(-pixelX, -pixelY, CGImageGetWidth(image1.CGImage), CGImageGetHeight(image1.CGImage)), image1.CGImage);
CGContextRelease(context1);

结果,您将获得AARRGGBB格式的像素,其中alpha始终设置为4字节无符号整数FF pixel1


1

要在Swift 5中访问UIImage的原始RGB值,请使用基础CGImage及其dataProvider:

import UIKit

let image = UIImage(named: "example.png")!

guard let cgImage = image.cgImage,
    let data = cgImage.dataProvider?.data,
    let bytes = CFDataGetBytePtr(data) else {
    fatalError("Couldn't access image data")
}
assert(cgImage.colorSpace?.model == .rgb)

let bytesPerPixel = cgImage.bitsPerPixel / cgImage.bitsPerComponent
for y in 0 ..< cgImage.height {
    for x in 0 ..< cgImage.width {
        let offset = (y * cgImage.bytesPerRow) + (x * bytesPerPixel)
        let components = (r: bytes[offset], g: bytes[offset + 1], b: bytes[offset + 2])
        print("[x:\(x), y:\(y)] \(components)")
    }
    print("---")
}

https://www.ralfebert.de/ios/examples/image-processing/uiimage-raw-pixels/

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.