Android使用FFMpeg实现推送视频直播流到服务器

admin

背景
在过去的2015年中，视频直播页的新宠无疑是户外直播。随着4G网络的普及和覆盖率的提升，主播可以在户外通过手机进行直播。而观众也愿意为这种可以足不出户而观天下事的服务买单。基于这样的背景，本文主要实现在Android设备上采集视频并推流到服务器。
概览如下图所示，在安卓上采集并推流主要应用到两个类。首先是安卓Api自带的Camera，实现从摄像头采集图像。然后是Javacv 中的FFMpegFrameRecorder类实现对Camera采集到的帧编码并推流。
关键步骤与代码
下面结合上面的流程图给出视频采集的关键步骤。 首先是Camera类的初始化。

1. // 初始化Camera设备
   
2. cameraDevice = Camera.open();
   
3.      Log.i(LOG_TAG, "cameara open");
   
4.      cameraView = new CameraView(this, cameraDevice);

复制代码

上面的CameraView类是我们实现的负责预览视频采集和将采集到的帧写入FFMpegFrameRecorder的类。具体代码如下：

1. class CameraView extends SurfaceView implements SurfaceHolder.Callback, PreviewCallback {
   
2. 
   
3.     private SurfaceHolder mHolder;
   
4.     private Camera mCamera;
   
5. 
   
6.     public CameraView(Context context, Camera camera) {
   
7.         super(context);
   
8.         Log.w("camera", "camera view");
   
9.         mCamera = camera;
   
10.         mHolder = getHolder();
    
11.         //设置SurfaceView 的SurfaceHolder的回调函数
    
12.         mHolder.addCallback(CameraView.this);
    
13.         mHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
    
14.         //设置Camera预览的回调函数
    
15.         mCamera.setPreviewCallback(CameraView.this);
    
16.     }
    
17. 
    
18.     @Override
    
19.     public void surfaceCreated(SurfaceHolder holder) {
    
20.         try {
    
21.             stopPreview();
    
22.             mCamera.setPreviewDisplay(holder);
    
23.         } catch (IOException exception) {
    
24.             mCamera.release();
    
25.             mCamera = null;
    
26.         }
    
27.     }
    
28. 
    
29.     public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {
    
30.         stopPreview();
    
31. 
    
32.         Camera.Parameters camParams = mCamera.getParameters();
    
33.         List<Camera.Size> sizes = camParams.getSupportedPreviewSizes();
    
34.         // Sort the list in ascending order
    
35.         Collections.sort(sizes, new Comparator<Camera.Size>() {
    
36. 
    
37.             public int compare(final Camera.Size a, final Camera.Size b) {
    
38.                 return a.width * a.height - b.width * b.height;
    
39.             }
    
40.         });
    
41. 
    
42.         // Pick the first preview size that is equal or bigger, or pick the last (biggest) option if we cannot
    
43.         // reach the initial settings of imageWidth/imageHeight.
    
44.         for (int i = 0; i < sizes.size(); i++) {
    
45.             if ((sizes.get(i).width >= imageWidth && sizes.get(i).height >= imageHeight) || i == sizes.size() - 1) {
    
46.                 imageWidth = sizes.get(i).width;
    
47.                 imageHeight = sizes.get(i).height;
    
48.                 Log.v(LOG_TAG, "Changed to supported resolution: " + imageWidth + "x" + imageHeight);
    
49.                 break;
    
50.             }
    
51.         }
    
52.         camParams.setPreviewSize(imageWidth, imageHeight);
    
53. 
    
54.         Log.v(LOG_TAG, "Setting imageWidth: " + imageWidth + " imageHeight: " + imageHeight + " frameRate: " + frameRate);
    
55. 
    
56.         camParams.setPreviewFrameRate(frameRate);
    
57.         Log.v(LOG_TAG, "Preview Framerate: " + camParams.getPreviewFrameRate());
    
58. 
    
59.         mCamera.setParameters(camParams);
    
60. 
    
61.         // Set the holder (which might have changed) again
    
62.         try {
    
63.             mCamera.setPreviewDisplay(holder);
    
64.             mCamera.setPreviewCallback(CameraView.this);
    
65.             startPreview();
    
66.         } catch (Exception e) {
    
67.             Log.e(LOG_TAG, "Could not set preview display in surfaceChanged");
    
68.         }
    
69.     }
    
70. 
    
71.     @Override
    
72.     public void surfaceDestroyed(SurfaceHolder holder) {
    
73.         try {
    
74.             mHolder.addCallback(null);
    
75.             mCamera.setPreviewCallback(null);
    
76.         } catch (RuntimeException e) {
    
77.             // The camera has probably just been released, ignore.
    
78.         }
    
79.     }
    
80. 
    
81.     public void startPreview() {
    
82.         if (!isPreviewOn && mCamera != null) {
    
83.             isPreviewOn = true;
    
84.             mCamera.startPreview();
    
85.         }
    
86.     }
    
87. 
    
88.     public void stopPreview() {
    
89.         if (isPreviewOn && mCamera != null) {
    
90.             isPreviewOn = false;
    
91.             mCamera.stopPreview();
    
92.         }
    
93.     }
    
94. 
    
95.     @Override
    
96.     public void onPreviewFrame(byte[] data, Camera camera) {
    
97.         if (audioRecord == null || audioRecord.getRecordingState() != AudioRecord.RECORDSTATE_RECORDING) {
    
98.             startTime = System.currentTimeMillis();
    
99.             return;
    
100.         }
     
101.         //如果是录播，则把该帧先存在内存中
     
102.         if (RECORD_LENGTH > 0) {
     
103.             int i = imagesIndex++ % images.length;
     
104.             yuvImage = images[i];
     
105.             timestamps[i] = 1000 * (System.currentTimeMillis() - startTime);
     
106.         }
     
107.         if (yuvImage != null && recording) {
     
108.             ((ByteBuffer) yuvImage.image[0].position(0)).put(data);
     
109.                         //如果是直播则直接写入到FFmpegFrameRecorder中
     
110.             if (RECORD_LENGTH <= 0) try {
     
111.                 Log.v(LOG_TAG, "Writing Frame");
     
112.                 long t = 1000 * (System.currentTimeMillis() - startTime);
     
113.                 if (t > recorder.getTimestamp()) {
     
114.                     recorder.setTimestamp(t);
     
115.                 }
     
116.                 recorder.record(yuvImage);
     
117.             } catch (FFmpegFrameRecorder.Exception e) {
     
118.                 Log.v(LOG_TAG, e.getMessage());
     
119.                 e.printStackTrace();
     
120.             }
     
121.         }
     
122.     }
     
123. }

复制代码

初始化FFmpegFrameRecorder类

1. recorder = new FFmpegFrameRecorder(ffmpeg_link, imageWidth, imageHeight, 1);
   
2.     //设置视频编码  28 指代h.264
   
3.     recorder.setVideoCodec(28);
   
4.     recorder.setFormat("flv");
   
5.     //设置采样频率
   
6.     recorder.setSampleRate(sampleAudioRateInHz);
   
7.     // 设置帧率，即每秒的图像数
   
8.     recorder.setFrameRate(frameRate);
   
9.     //音频采集线程
   
10.         audioRecordRunnable = new AudioRecordRunnable();
    
11.     audioThread = new Thread(audioRecordRunnable);
    
12.     runAudioThread = true;

复制代码

其中的AudioRecordRunnable是我们自己实现的音频采集线程，代码如下

1. class AudioRecordRunnable implements Runnable {
   
2. 
   
3.     @Override
   
4.     public void run() {
   
5.         android.os.Process.setThreadPriority(android.os.Process.THREAD_PRIORITY_URGENT_AUDIO);
   
6. 
   
7.         // Audio
   
8.         int bufferSize;
   
9.         ShortBuffer audioData;
   
10.         int bufferReadResult;
    
11. 
    
12.         bufferSize = AudioRecord.getMinBufferSize(sampleAudioRateInHz,
    
13.                 AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
    
14.         audioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, sampleAudioRateInHz,
    
15.                 AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT, bufferSize);
    
16.                 //如果是录播，则需要录播长度的缓存
    
17.         if (RECORD_LENGTH > 0) {
    
18.             samplesIndex = 0;
    
19.             samples = new ShortBuffer[RECORD_LENGTH * sampleAudioRateInHz * 2 / bufferSize + 1];
    
20.             for (int i = 0; i < samples.length; i++) {
    
21.                 samples[i] = ShortBuffer.allocate(bufferSize);
    
22.             }
    
23.         } else {
    
24.         //直播只需要相当于一帧的音频的数据缓存
    
25.             audioData = ShortBuffer.allocate(bufferSize);
    
26.         }
    
27. 
    
28.         Log.d(LOG_TAG, "audioRecord.startRecording()");
    
29.         audioRecord.startRecording();
    
30. 
    
31.         /* ffmpeg_audio encoding loop */
    
32.         while (runAudioThread) {
    
33.             if (RECORD_LENGTH > 0) {
    
34.                 audioData = samples[samplesIndex++ % samples.length];
    
35.                 audioData.position(0).limit(0);
    
36.             }
    
37.             //Log.v(LOG_TAG,"recording? " + recording);
    
38.             bufferReadResult = audioRecord.read(audioData.array(), 0, audioData.capacity());
    
39.             audioData.limit(bufferReadResult);
    
40.             if (bufferReadResult > 0) {
    
41.                 Log.v(LOG_TAG, "bufferReadResult: " + bufferReadResult);
    
42.                 // If "recording" isn't true when start this thread, it never get's set according to this if statement...!!!
    
43.                 // Why?  Good question...
    
44.                 if (recording) {
    
45.                                //如果是直播，则直接调用recordSamples 将音频写入Recorder
    
46.                     if (RECORD_LENGTH <= 0) try {
    
47.                         recorder.recordSamples(audioData);
    
48.                         //Log.v(LOG_TAG,"recording " + 1024*i + " to " + 1024*i+1024);
    
49.                     } catch (FFmpegFrameRecorder.Exception e) {
    
50.                         Log.v(LOG_TAG, e.getMessage());
    
51.                         e.printStackTrace();
    
52.                     }
    
53.                 }
    
54.             }
    
55.         }
    
56.         Log.v(LOG_TAG, "AudioThread Finished, release audioRecord");
    
57. 
    
58.         /* encoding finish, release recorder */
    
59.         if (audioRecord != null) {
    
60.             audioRecord.stop();
    
61.             audioRecord.release();
    
62.             audioRecord = null;
    
63.             Log.v(LOG_TAG, "audioRecord released");
    
64.         }
    
65.     }
    
66. }

复制代码

接下来是开始直播和停止直播的方法

1. //开始直播
   
2. public void startRecording() {
   
3. 
   
4.     initRecorder();
   
5. 
   
6.     try {
   
7.         recorder.start();
   
8.         startTime = System.currentTimeMillis();
   
9.         recording = true;
   
10.         audioThread.start();
    
11. 
    
12.     } catch (FFmpegFrameRecorder.Exception e) {
    
13.         e.printStackTrace();
    
14.     }
    
15. }
    
16. 
    
17. public void stopRecording() {
    
18.         //停止音频线程
    
19.     runAudioThread = false;
    
20.     try {
    
21.         audioThread.join();
    
22.     } catch (InterruptedException e) {
    
23.         e.printStackTrace();
    
24.     }
    
25.     audioRecordRunnable = null;
    
26.     audioThread = null;
    
27. 
    
28.     if (recorder != null && recording) {
    
29.     //如果是录播，则将缓存中的帧加上时间戳后写入
    
30.         if (RECORD_LENGTH > 0) {
    
31.             Log.v(LOG_TAG, "Writing frames");
    
32.             try {
    
33.                 int firstIndex = imagesIndex % samples.length;
    
34.                 int lastIndex = (imagesIndex - 1) % images.length;
    
35.                 if (imagesIndex <= images.length) {
    
36.                     firstIndex = 0;
    
37.                     lastIndex = imagesIndex - 1;
    
38.                 }
    
39.                 if ((startTime = timestamps[lastIndex] - RECORD_LENGTH * 1000000L) < 0) {
    
40.                     startTime = 0;
    
41.                 }
    
42.                 if (lastIndex < firstIndex) {
    
43.                     lastIndex += images.length;
    
44.                 }
    
45.                 for (int i = firstIndex; i <= lastIndex; i++) {
    
46.                     long t = timestamps[i % timestamps.length] - startTime;
    
47.                     if (t >= 0) {
    
48.                         if (t > recorder.getTimestamp()) {
    
49.                             recorder.setTimestamp(t);
    
50.                         }
    
51.                         recorder.record(images[i % images.length]);
    
52.                     }
    
53.                 }
    
54. 
    
55.                 firstIndex = samplesIndex % samples.length;
    
56.                 lastIndex = (samplesIndex - 1) % samples.length;
    
57.                 if (samplesIndex <= samples.length) {
    
58.                     firstIndex = 0;
    
59.                     lastIndex = samplesIndex - 1;
    
60.                 }
    
61.                 if (lastIndex < firstIndex) {
    
62.                     lastIndex += samples.length;
    
63.                 }
    
64.                 for (int i = firstIndex; i <= lastIndex; i++) {
    
65.                     recorder.recordSamples(samples[i % samples.length]);
    
66.                 }
    
67.             } catch (FFmpegFrameRecorder.Exception e) {
    
68.                 Log.v(LOG_TAG, e.getMessage());
    
69.                 e.printStackTrace();
    
70.             }
    
71.         }
    
72. 
    
73.         recording = false;
    
74.         Log.v(LOG_TAG, "Finishing recording, calling stop and release on recorder");
    
75.         try {
    
76.             recorder.stop();
    
77.             recorder.release();
    
78.         } catch (FFmpegFrameRecorder.Exception e) {
    
79.             e.printStackTrace();
    
80.         }
    
81.         recorder = null;
    
82. 
    
83.     }
    
84. }

复制代码

原文链接：
以上即为关键的步骤和代码，下面给出完整项目地址

回复可见：捡代码论坛整理提供：

游客，如果您要查看本帖隐藏内容请回复

admin

登录可见评论

大漠马兰花

登录可见评论

lungffychiu

登录可见评论