CSU多媒体技术及应用（实验）


前言

这学期学完多媒体技术及应用课程后，想把做实验时遇到的坑与技巧和大家分享(学弟学妹)。毕竟，可能 过几天我就全忘了，做的实验代码也可能会删了。

目录

  • 实验1《数字音频处理程序设计》
  • 实验2《数字图像处理程序设计》
  • 实验3《数字视频处理程序设计》

正文

实验一 音频处理

实验内容：

1．打开两个音频文件（限Wav文件，并具有相同的采样频率和量化深度），然后用第 二个音频文件左声道代替第一个音频文件左声道，但保留第一个音频文件的右声道，最 后播放第一个音频文件，并观察结果。

2．设计实现静音效果。

关键步骤

1. 将文件放入与主cpp文件同目录下：

添加代码：

1
2
3
4
5
6
7
8
9
// Global Variables:
HINSTANCE hInst;                                // current instance
TCHAR szTitle[MAX_LOADSTRING];                  // The title bar text
TCHAR szWindowClass[MAX_LOADSTRING];            // the main window class name

WCHAR *wszSourceFile = NULL;

const WCHAR *wszTargetFile = L"out1.wav";
const WCHAR *wszTargetFile2 = L"out2.wav";

2. 实现静音与声道替换的关键代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
HRESULT WriteWaveData(
    HANDLE hFile,               // Output file1.
    HANDLE hFile2,               // Output file2.
    IMFSourceReader *pReader,   // Source reader.
    IMFSourceReader *pReaderAnother,   // Another Source reader.
    DWORD cbMaxAudioData,       // Maximum amount of audio data (bytes).
    DWORD cbMaxAudioDataAnother,       // Maximum amount of audio data (bytes).
    DWORD *pcbDataWritten,       // Receives the amount of data written.
    DWORD *pcbDataWrittenAnother       // Receives the amount of data written.
    )
{
    //......此处省略默认生成的代码
    //Get a pointer to the audio data in the sample.
    hr = pSample->ConvertToContiguousBuffer(&pBuffer);
    if (FAILED(hr)) { break; }
    hr2 = pSampleAnother->ConvertToContiguousBuffer(&pBufferAnother);
    if (FAILED(hr2)) { break; }
    //锁定内存，得到缓冲地址指针
    hr = pBuffer->Lock(&pAudioData, NULL, &cbBuffer);
    if (FAILED(hr)) { break; }
    hr2 = pBufferAnother->Lock(&pAudioDataAnother, NULL, &cbBufferAnother);
    if (FAILED(hr2)) { break; }
       
    // Make sure not to exceed the specified maximum size.
    if (cbMaxAudioData - cbAudioData < cbBuffer)
    {
        cbBuffer = cbMaxAudioData - cbAudioData;
    }
    if (cbMaxAudioDataAnother - cbAudioDataAnother < cbBufferAnother)
    {
         cbBufferAnother = cbMaxAudioDataAnother - cbAudioDataAnother;
    }
    ////////////////////////////////////////////////////////////////////////////////
    //音频数据处理模块
    for (int i = 0; i < cbBuffer; i++)
    {
        //静音
        *(pAudioData + i) = 100;
        //用第二支曲子代替左声道，右声道保持原曲不变
        if((i-2)%4 == 0 )     *(pAudioData + i) = (*(pAudioDataAnother + i)); //屏蔽左声道的第三个字节
        if((i-3)%4 == 0 )     *(pAudioData + i) = (*(pAudioDataAnother + i)); //屏蔽左声道的第四个字节
      }
    ////////////////////////////////////////////////////////////////////////////////
    // Write data1 and data2 to the output file1 and output file2.
    hr  = WriteToFile(hFile, pAudioData, cbBuffer);
    hr2 = WriteToFile(hFile2, pAudioDataAnother, cbBufferAnother);
    if (FAILED(hr)) { break; }
    if (FAILED(hr2)) { break; }

//......此处省略默认生成的代码

}

3. 运行程序，生成结果音频：

如果是静音的话，out1.wav是静音文件，out2.wav是导入的 第二个文件。

如果是声道替换的话，out1.wav文件的左声道为第二个文件的左 声道，右声道不变。Out2.wav则是导入第二个文件本身。

实验二 图像处理

实验内容：

1．向内存加载两个或多个 BMP位图文件

2．利用像素操作实现单色（R、G、B）、灰度图像的显示

3．通过操作像素实现图像的倒立和正立显示

4．实现两个图像的叠加（一张风景照 一张人物照）

5．改变教材给出的波纹模拟程序中石头大小（stonesize）、石头重量（stoneweight）和 显示帧频率等参数，观察模拟效果，并分析所看到现象的原因。

关键步骤：

1. 显示图片

代码中的dwBmpSize变量未定义，修改成hDib = GlobalAlloc(GHND, bi.biSizeImage);然后将图片放入源代码文件同一文件夹下，并修改代码中的图片名称：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// TODO: 在此处放置代码。
    if (LoadImage(hInstance, L"image_1.bmp", IMAGE_BITMAP, 0, 0, LR_LOADFROMFILE) == NULL)
    {
        MessageBox(NULL, L"加载图像错误", L"message", NULL);
    }
    else
    {
        hbmp = (HBITMAP)LoadImage(hInstance, L"image_1.bmp", IMAGE_BITMAP, 0, 0, LR_LOADFROMFILE);
    }
 GetObject(hbmp, sizeof(BITMAP), &bmp);
    bi.biSize = sizeof(BITMAPINFOHEADER);
    bi.biWidth = bmp.bmWidth;
    bi.biHeight = bmp.bmHeight;
    bi.biPlanes = bmp.bmPlanes;
    bi.biBitCount = bmp.bmBitsPixel;
    bi.biCompression = bmp.bmType;
    bi.biSizeImage = bmp.bmWidth * bmp.bmHeight * bmp.bmBitsPixel / 8;
    bi.biXPelsPerMeter = 0;
    bi.biYPelsPerMeter = 0;
    bi.biClrImportant = 0;
    hDib = GlobalAlloc(GHND, bi.biSizeImage);
    lpbitmap = (BYTE*)GlobalLock(hDib);

2. 读取多张图片：

全局变量定义：

1
2
3
4
5
6
7
8
9
10
// 全局变量:
HINSTANCE hInst;                                // 当前实例
WCHAR szTitle[MAX_LOADSTRING];                  // 标题栏文本
WCHAR szWindowClass[MAX_LOADSTRING];            // 主窗口类名
BITMAPINFOHEADER  bi, bi2;
HBITMAP             hbmp,hbmp2;
BITMAP               bmp,bmp2;
HANDLE              hDib,hDib2;
BYTE* lpbitmap = NULL;
BYTE* lpbitmap2 = NULL;

第二张图片展示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
  //第二张图片
    if (LoadImage(hInstance, L"image_2.bmp", IMAGE_BITMAP, 0, 0, LR_LOADFROMFILE) == NULL)
    {
        MessageBox(NULL, L"加载图像错误", L"message", NULL);
    }
    else
    {
        hbmp2 = (HBITMAP)LoadImage(hInstance, L"image_2.bmp", IMAGE_BITMAP, 0, 0, LR_LOADFROMFILE);
    }
    GetObject(hbmp2, sizeof(BITMAP), &bmp2);
    bi2.biSize = sizeof(BITMAPINFOHEADER);
    bi2.biWidth = bmp2.bmWidth;
    bi2.biHeight = bmp2.bmHeight;
    bi2.biPlanes = bmp2.bmPlanes;
    bi2.biBitCount = bmp2.bmBitsPixel;
    bi2.biCompression = bmp2.bmType;
    bi2.biSizeImage = bmp2.bmWidth * bmp2.bmHeight * bmp2.bmBitsPixel / 8;
    bi2.biXPelsPerMeter = 0;
    bi2.biYPelsPerMeter = 0;
    bi2.biClrImportant = 0;
    hDib2 = GlobalAlloc(GHND, bi2.biSizeImage);
    lpbitmap2 = (BYTE*)GlobalLock(hDib2);

避免两张图片重叠，需要对显示位置进行处理：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
case WM_PAINT:
        {
            PAINTSTRUCT ps;
            HDC hdc = BeginPaint(hWnd, &ps);
            // TODO: 在此处添加使用 hdc 的任何绘图代码...
            GetDIBits(hdc,
                hbmp,
                0,
                (UINT)bmp.bmHeight,
                lpbitmap,
                (BITMAPINFO*)&bi,
                DIB_RGB_COLORS);

            GetDIBits(hdc,
                hbmp2,
                0,
                (UINT)bmp2.bmHeight,
                lpbitmap2,
                (BITMAPINFO*)&bi2,
                DIB_RGB_COLORS);

            SetDIBitsToDevice(hdc,
                20,
                20,
                bi.biWidth,
                bi.biHeight,
                0,
                0,
                0,
                bi.biHeight,
                lpbitmap,
                (BITMAPINFO*)&bi,
                DIB_RGB_COLORS);

            SetDIBitsToDevice(hdc,
                300,
                20,
                bi2.biWidth,
                bi2.biHeight,
                0,
                0,
                0,
                bi2.biHeight,
                lpbitmap2,
                (BITMAPINFO*)&bi2,
                DIB_RGB_COLORS);

3. 单色（R、G、B）、灰度图像、倒立正立的显示：

在GetDIBits后面添加对应的代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
// RGB单色显示
for (int i = 0; i < bi.biHeight; i++)
    for (int j = 0; j < bi.biWidth; j++) {
        BYTE r = *(lpbitmap + 2 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE g = *(lpbitmap + 1 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE b = *(lpbitmap + 0 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        SetPixel(hdc,j + 100, i + 50, RGB(r, 0, 0));
        SetPixel(hdc,j + 100 + bi.biWidth, i + 50, RGB(0,g,0));
        SetPixel(hdc,j + 100 + bi.biWidth * 2, i + 50, RGB(0, 0, b));
    }

//灰度显示
for (int i = 0; i < bi.biHeight; i++)
    for (int j = 0; j < bi.biWidth; j++) {
        BYTE r = *(lpbitmap + 2 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE g = *(lpbitmap + 1 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE b = *(lpbitmap + 0 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE average = (r + g + b) / 3;
        BYTE y = r * 0.299 + g * 0.58 + b * 0.114;
        SetPixel(hdc, j + 100, i + 50, RGB(g,g,g ));
        SetPixel(hdc, j + 100 + bi.biWidth + 2, i + 50, RGB(average, average, average));
        SetPixel(hdc, j + 100 + bi.biWidth * 2 + 4, i + 50, RGB(y, y, y));
    }

//倒立
for (int i = 0; i < bi.biHeight; i++)
    for (int j = 0; j < bi.biWidth; j++) {
        BYTE r = *(lpbitmap + 2 + j * 4 + i * bi.biWidth * 4);
        BYTE g = *(lpbitmap + 1 + j * 4 + i * bi.biWidth * 4);
        BYTE b = *(lpbitmap + 0 + j * 4 + i * bi.biWidth * 4);
        SetPixel(hdc, j + 100, i + 50, RGB(r, g, b));
    }

//正立
for (int i = 0; i < bi.biHeight; i++)
    for (int j = 0; j < bi.biWidth; j++) {
        BYTE r = *(lpbitmap + 2 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE g = *(lpbitmap + 1 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE b = *(lpbitmap + 0 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        SetPixel(hdc, j + 100, i + 50, RGB(r, g, b));
    }

4. 图像叠加：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
for (int i = 0; i < bi.biHeight; i++)
    for (int j = 0; j < bi.biWidth; j++) {
        BYTE r1 = *(lpbitmap + 2 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE g1 = *(lpbitmap + 1 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        BYTE b1 = *(lpbitmap + 0 + j * 4 + (bi.biHeight - i - 1) * bi.biWidth * 4);
        //读取第二幅图像的RGB分量
        BYTE r2 = *(lpbitmap2 + 2 + j * 4 + (bi2.biHeight - i - 1) * bi2.biWidth * 4);
        BYTE g2 = *(lpbitmap2 + 1 + j * 4 + (bi2.biHeight - i - 1) * bi2.biWidth * 4);
        BYTE b2 = *(lpbitmap2 + 0 + j * 4 + (bi2.biHeight - i - 1) * bi2.biWidth * 4);
        //两幅图像的对应分量按比例叠加，a=0.5
        BYTE r = r1 / 2 + r2 / 2;
        BYTE g = g1 / 2 + g2 / 2;
        BYTE b = b1 / 2 + b2 / 2;
        //显示合成图像
        SetPixel(hdc, j + 180 + bi.biWidth * 2, i + 20, RGB(r,g,b));
    }

5. 水波纹：

略

效果展示：

实验三 视频处理

实验要求：

1. 将RGB视频图像转换成YUV颜色模型的图像序列，并显示YUV视频图像。

2. YUV视频文件显示程序为基础，结合图像融合原理与方法，设计并实现一个给YUV视频添加动态字幕的程序（类似卡拉OK动态字幕）。

3. 设计实现一个视频特效程序，能够将两个视频实现淡入淡出。

4. 设计实现一个视频特效程序，能够将两个（或多个）视频拼接成一个宽幅视频。

关键步骤：

1. 显示YUV存储的视频：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
//read a new frame of the yuv file
for (int i = 0; i < 144; i++)
    for (int j = 0; j < 176; j++)
    {
        u[i][j] = *(pBitu + j + 176 * (i));
        v[i][j] = *(pBitv + j + 176 * (i));
    }
//read y，and translate yuv int rgb and display the pixel
for (int i = 0; i < 288; i++)
    for (int j = 0; j < 352; j++)
    {
        //read y
        y[i][j] = *(pBity + j + (i) * 352);
        //translate
        int r = (298 * (y[i][j] - 16) + 409 * (v[i / 2][j / 2] - 128) + 128) >> 8;
        if (r < 0) r = 0;
        if (r > 255) r = 255;
        int g = (298 * (y[i][j] - 16) - 100 * (u[i / 2][j / 2] - 128) - 208 * (v[i / 2][j / 2] - 128) + 128) >> 8;
        if (g < 0) g = 0;
        if (g > 255) g = 255;
        int b = (298 * (y[i][j] - 16) + 516 * (u[i / 2][j / 2] - 128) + 128) >> 8;
        if (b < 0) b = 0;
        if (b > 255) b = 255;

        //直接显示
        det_image[288 - i - 1][j].r = r;
        det_image[288 - i - 1][j].g = g;
        det_image[288 - i - 1][j].b = b;

2. 动态字幕：

使用的图片为: 与视频大小相同

代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
//直接显示
/*
det_image[288 - i - 1][j].r = r;
det_image[288 - i - 1][j].g = g;
det_image[288 - i - 1][j].b = b;*/

//取字幕图标图像的像素值
int rback = *(pbits + 2 + j * 3 + (cyDib - i - 1) * cxDib * 3);
int gback = *(pbits + 1 + j * 3 + (cyDib - i - 1) * cxDib * 3);
int bback = *(pbits + 0 + j * 3 + (cyDib - i - 1) * cxDib * 3);
// 如果当前字幕图标图像像素值是黑色，就传送视频像素值到目标图像
if (rback == 0 && gback == 0 && bback == 0)
{
det_image[288 - i - 1][j].r = r;
det_image[288 - i - 1][j].g = g;
det_image[288 - i - 1][j].b = b;
}
// 上半部分的字幕处理
else if (j <= changePosition1 && j > changePosition2 && i < 230) {
det_image[288 - i - 1][j].r = rback;
det_image[288 - i - 1][j].g = gback;
det_image[288 - i - 1][j].b = bback;
}
// 下半部分的字幕颜色改变部分
else if (i >= 230 && j < changeColor) {
det_image[288 - i - 1][j].r = rback;
det_image[288 - i - 1][j].g = gback + 100;
det_image[288 - i - 1][j].b = bback;
}
// 下半部分颜色不改变
else if (i >= 230 ) {
det_image[288 - i - 1][j].r = rback;
det_image[288 - i - 1][j].g = gback;
det_image[288 - i - 1][j].b = bback;
}
else//否则，就用原视频
{
det_image[288 - i - 1][j].r = r;
det_image[288 - i - 1][j].g = g;
det_image[288 - i - 1][j].b = b;
}

3. 两个视频实现淡入淡出：

1
2
3
4
//两帧图像的当前像素的融合，结果放入目标图像矩阵中
det_image[288 - i - 1][j].r = r * (1 - para) + r2 * para;
det_image[288 - i - 1][j].g = g * (1 - para) + g2 * para;
det_image[288 - i - 1][j].b = b * (1 - para) + b2 * para;

4. 宽幅视频：

1
2
3
4
5
6
7
//宽幅视频
det_image[288 - i - 1][j].r = r;
det_image[288 - i - 1][j].g = g;
det_image[288 - i - 1][j].b = b;
det_image2[288 - i - 1 ][j ].r = r2;
det_image2[288 - i - 1 ][j ].g = g2;
det_image2[288 - i - 1 ][j ].b = b2;

实验效果：

结语

文章很多细节没讲到的是老师已经给出的代码部分，如果实在遇到了问题的，别问我，我早就忘了。但是你可以来找我，我可以把整个项目文件发给你~qq975344363