FFmpeg(六)，播放视频之GLSurfaceView显示RGB数据，PKI，CA

嘿，小伙伴们！今天我们要来聊聊关于FFmpeg的一个很酷的功能——用GLSurfaceView显示RGB数据！先简单介绍一下，GLSurfaceView是Android中用来显示OpenGL渲染的视图组件，而使用FFmpeg库读取视频，经过解码之后可以得到每一帧的原始RGB数据，我们就可以使用GLSurfaceView将这些数据进行渲染，最终实现视频的播放。

那么，如何实现GLSurfaceView显示RGB数据呢？我们可以采用NDK开发，并调用FFmpeg库来解析视频文件，提取RGB数据。具体实现过程如下：

首先我们需要准备好FFmpeg库，可以参考之前的文章了解如何编译FFmpeg库。

1. 创建Native方法

我们需要创建Native方法来调用FFmpeg库解析视频文件，提取RGB数据。在Java中，我们需要定义一个JNI接口类，在这个类中定义Native方法。下面是一个简单的JNI接口类示例：

```java

public class FFmpegNativeHelper {

static {

System.loadLibrary("ffmpeg");

}

public native void init(String dataSourceUrl);

public native void release();

public static native void decodeFrame();

}

```

在这个接口类中，我们定义了三个Native方法，分别是init、release和decodeFrame。init方法初始化FFmpeg库，release方法释放FFmpeg库，decodeFrame方法用于读取一帧RGB数据。

2. 创建GLSurfaceView

在Android中，我们可以继承GLSurfaceView类，实现自己的GLSurfaceView视图组件。在这个类中，我们需要实现三个方法：onSurfaceCreated、onSurfaceChanged和onDrawFrame。在onSurfaceCreated方法中，我们初始化OpenGL环境；在onSurfaceChanged方法中，我们设置OpenGL视口；在onDrawFrame方法中，我们绘制RGB数据。下面是一个简单的GLSurfaceView类示例：

```java

public class VideoSurfaceView extends GLSurfaceView implements GLSurfaceView.Renderer {

private Bitmap mBitmap;

private ByteBuffer mBuffer;

private int mWidth;

private int mHeight;

public VideoSurfaceView(Context context) {

super(context);

setEGLContextClientVersion(2);

setRenderer(this);

}

@Override

public void onSurfaceCreated(GL10 gl, EGLConfig config) {

GLES20.glClearColor(0.0f, 0.0f, 0.0f, 0.0f);

}

@Override

public void onSurfaceChanged(GL10 gl, int width, int height) {

GLES20.glViewport(0, 0, width, height);

}

@Override

public void onDrawFrame(GL10 gl) {

GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT | GLES20.GL_DEPTH_BUFFER_BIT);

// 如果读取到了新的数据，将数据绘制出来

if (mBuffer != null) {

GLES20.glTexImage2D(GLES20.GL_TEXTURE_2D, 0, GLES20.GL_RGBA, mWidth, mHeight,

0, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, mBuffer);

mBuffer = null;

}

}

}

```

在这个GLSurfaceView类中，我们使用了一个ByteBuffer类型的mBuffer变量，用于保存读取到的一帧RGB数据。在onDrawFrame方法中，我们检查mBuffer是否为空，如果不为空，就将RGB数据绘制到GLSurfaceView上。

3. 实现Native方法

现在我们需要实现之前定义的三个Native方法。首先，我们需要初始化FFmpeg库，并打开视频文件，以便后续解码。下面是一个初始化视频文件的代码示例：

```c

JNIEXPORT void JNICALL Java_com_myapp_ffmpegtest_FFMpegNativeHelper_init(JNIEnv *env, jobject obj,

jstring dataSourceUrl) {

// 将Java字符串转换为C字符串

const char *url = (*env)->GetStringUTFChars(env, dataSourceUrl, NULL);

// 注册所有FFmpeg组件

av_register_all();

// 初始化网络

avformat_network_init();

// 打开视频文件

AVFormatContext *formatContext = avformat_alloc_context();

if (avformat_open_input(&formatContext, url, NULL, NULL) < 0) {

LOGE("Could not open file: %s", url);

return;

}

// 打印视频信息

avformat_find_stream_info(formatContext, NULL);

av_dump_format(formatContext, 0, url, 0);

(*env)->ReleaseStringUTFChars(env, dataSourceUrl, url);

}

```

在这段代码中，我们首先将Java字符串转换为C字符串，然后使用av_register_all函数注册所有FFmpeg组件，使用avformat_network_init函数初始化网络，使用avformat_alloc_context函数创建AVFormatContext对象，使用avformat_open_input函数打开视频文件，并使用av_dump_format函数打印视频信息。

然后，我们需要释放FFmpeg库，并关闭视频文件。下面是一个关闭视频文件的代码示例：

```c

JNIEXPORT void JNICALL Java_com_myapp_ffmpegtest_FFMpegNativeHelper_release(JNIEnv *env, jobject obj) {

avformat_network_deinit();

avformat_close_input(&gFormatContext);

av_frame_free(&gFrame);

avcodec_close(gCodecContext);

avcodec_free_context(&gCodecContext);

}

```

在这段代码中，我们使用avformat_network_deinit函数释放网络，使用avformat_close_input函数关闭视频文件，使用av_frame_free函数释放AVFrame对象，使用avcodec_close函数关闭AVCodecContext对象，并使用avcode_free_context函数释放AVCodecContext对象。

然后，我们需要读取一帧RGB数据，并保存到GLSurfaceView的mBuffer变量中。下面是一个读取一帧RGB数据并保存的代码示例：

```c

JNIEXPORT void JNICALL Java_com_myapp_ffmpegtest_FFMpegNativeHelper_decodeFrame(JNIEnv *env, jclass clazz) {

// 读取一帧数据

AVPacket packet;

av_init_packet(&packet);

if (av_read_frame(gFormatContext, &packet) < 0) {

LOGE("Could not read frame");

return;

}

int streamIndex = packet.stream_index;

if (streamIndex != gVideoStreamIndex) {

return;

}

// 解码数据

int gotPicture = 0;

if (avcodec_decode_video2(gCodecContext, gFrame, &gotPicture, &packet) < 0) {

LOGE("Could not decode frame");

return;

}

// 将RGB数据保存到ByteBuffer中

if (gotPicture) {

AVFrame *rgbFrame = av_frame_alloc();

int bufferSize = av_image_get_buffer_size(AV_PIX_FMT_RGBA, gCodecContext->width, gCodecContext->height, 1);

uint8_t *buffer = (uint8_t *)av_malloc(bufferSize);

avpicture_fill((AVPicture *)rgbFrame, buffer, AV_PIX_FMT_RGBA, gCodecContext->width, gCodecContext->height);

sws_scale(gSwsContext, (const uint8_t * const *)gFrame->data, gFrame->linesize, 0, gCodecContext->height,

rgbFrame->data, rgbFrame->linesize);

mBuffer = (*env)->NewDirectByteBuffer(env, buffer, bufferSize);

mWidth = gCodecContext->width;

mHeight = gCodecContext->height;

av_frame_free(&rgbFrame);

}

}

```

在这段代码中，我们使用av_read_frame函数读取视频文件的一帧数据，然后使用avcodec_decode_video2函数将这帧数据解码为原始RGB数据，并将RGB数据使用sws_scale函数转换为AV_PIX_FMT_RGBA格式。然后，我们使用NewDirectByteBuffer函数将RGB数据的ByteBuffer对象包装到Java中，并保存到GLSurfaceView的mBuffer变量中。

到这里，我们就完成了GLSurfaceView显示RGB数据的整个流程了。我们可以在Activity中调用这个GLSurfaceView，以便播放视频。

具体的代码实现就不贴了，完整代码可以去我的GitHub仓库查看。

那么，以上就是GLSurfaceView显示RGB数据的实现方法，希望能够对大家有所帮助。在实现的过程中，发现还有一些值得深入研究的地方，比如OpenGL的着色器、纹理等知识，还有RGB数据的转换过程等，有兴趣的小伙伴可以深入研究一下哦！