Embedded Linux from Scratch on VMWare: (1) Boot Up to sh# Prompt

在虚拟机上从头建造一个linux系统(穷人的嵌入式), 主要参考: http://uuu.enseirb.fr/~kadionik/rmll2005/presentation/michael_opdenacker.pdf.
target硬件配置为:

host也是vmware虚拟机, 安装 debian 5.0 lenny. 把 target 硬盘连接在 host 上(scsi 0:3, linux 设备节点为 /dev/sdd)
host 上用户名为v4, 工作目录为 ~/toy
需要的一些软件包放在~/tarballs/

0: 目标
========

建立一个最小的linux系统

• bootloader 用 grub
• 安装 busybox
• 安装 uclibc 运行时库(为了以后能安装其他工具); busybox 动态链接到 uclibc

1: 建立 cross toolchain
=======================

target 与 host 都是虚拟机, 架构是相同的(x86), 为何还需要 cross toolchain呢? 罪恶之源在uclibc: (1)用来build uclibc 的工具, 必须是built against uclibc的(见: http://www.uclibc.org/toolchains.html; 鸡->蛋->鸡->...); (2)用来build 与 uclibc 链接的程序的工具, 也必须是built against uclibc的; 而host上编译工具是链接到glibc的, 不符合这2个要求
利用buildroot工具来建造一个 cross toolchain
手工建造cross toolchain也是uclibc难搞
理论上, 用 buildroot 可以建造出我们最终想要的 target rootfs(uclibc + busybox + kernel + ...), 但是, 实践证明(theory vs. reality): (1)目标越大, 出问题的可能性越高; (2)自动化程度越高, 出了问题越难解决(花费额外时间解决自动化工具本身的问题; buildroot 的 make 系统的质量还比不上 kernel 或 gcc)
此外, 我也希望了解手工建立一个linux系统的过程. 因此, 我这里只是用buildroot建立一个最简化的toolchain(uclibc+gcc+binutils+kernel headers(?)), 不包含任何其它工具. 如果以后需要其它的工具, 可以用这个 toolchain 自己 build, 即使有问题, 也可各个击破

v4@elws:~/toy$ tar xjvf ../tarballs/buildroot-2010.11.tar.bz2 -C .
v4@elws:~/toy$ cd buildroot-2010.11/
v4@elws:~/toy/buildroot-2010.11$ make distclean
v4@elws:~/toy/buildroot-2010.11$ make allnoconfig # 只需要 toolchain
v4@elws:~/toy/buildroot-2010.11$ make menuconfig

-> Target Architecture: 选i386
-> Target Architecture Variant: 选pentium pro
-> Toolchain: 选择 Build/install c++ compiler and libstdc++?

v4@elws:~/toy/buildroot-2010.11$ make source # 提前下载所需软件包

buildroot 把自动下载的软件包放在 dl/ 目录. gcc, uclibc 等比较慢, 可以自己提前下载对应版本的放到 dl/ 下. 我总结的 buildroot-2010.11 对应的软件包及版本号(不完全):

• gcc-4.3.5.tar.bz2
• uClibc-0.9.31.tar.bz2
• linux-2.6.36.1.tar.bz2
• gmp-4.2.4.tar.bz2
• mpfr-2.4.1.tar.bz2
• binutils-2.20.1.tar.bz2

v4@elws:~/toy/buildroot-2010.11$ make uclibc-menuconfig

uclibc配置保存在 output/toolchain/uClibc-0.9.31/.config
uclibc很可能以后还需要重新配置(缺少某些功能没有选择), 需要回到这里重复开始

-> Target Architecture Features and Options
-> Target x86 Processor Family 选Pentium-Pro

v4@elws:~/toy/buildroot-2010.11$ cp output/toolchain/uClibc-0.9.31/.config toolchain/uClibc/uClibc-0.9.31.config

buildroot 使用的uclibc配置为 toolchain/uClibc/uClibc-0.9.31.config (通过make menuconfig 查看/修改)

v4@elws:~/toy/buildroot-2010.11$ make

make 一次要很久(更糟糕的是: 有时, 重复make时, buildroot会再次下载已经下载过的软件包, 这对身在大国的网络用户来说是一个噩梦)(足够洗个热水澡->出去跑一圈->再洗个热水澡:<) 生成的cross toolchain 在 output/staging(不是output/toolchain, 参考 http://buildroot.uclibc.org/buildroot.html#using)

• c 头文件: output/staging/usr/include (包含 linux 头文件!)
• 库文件: output/staging/usr/lib
• 工具: output/staging/usr/bin/i686-linux-{gcc, ld, strip...}

2: build kernel
=================

build kernel 要小心的是使用cross toolchain

v4@elws:~/toy$ tar xjvf buildroot-2010.11/dl/linux-2.6.36.1.tar.bz2 -C .

内核版本最好与buildroot 使用的一致. 这里直接使用buildroot下载的

v4@elws:~/toy$ cd linux-2.6.36.1/
v4@elws:~/toy/linux-2.6.36.1$ make mrproper

修改 Makefile 中这一行: EXTRAVERSION = .1-toy-1.0

v4@elws:~/toy/linux-2.6.36.1$ make ARCH=x86 allnoconfig # 从零开始

kernel支持的架构在arch/目录下. 这里其实可以省略 ARCH=...

v4@elws:~/toy/linux-2.6.36.1$ make ARCH=x86 menuconfig

选择:

-> Processor type and features
-> Processor family(选 Processor family, 默认已选中)
Generic x86 support

计划在target 硬盘上建立 ext3 文件系统, 因此kernel要支持 ext3

-> File systems
-> Ext3 journalling file system support

硬盘为scsi, 要支持pci, scsi

-> Bus options (PCI etc.)
-> PCI support
PCI Express support

-> Device Drivers
-> SCSI device support
SCSI disk support

-> Device Drivers
-> Block devices

接下来的部分比较 tricky(提前公布谜底): host 与 target 都是虚拟机, 它们硬件架构是相同的. 在 host 执行 lspci 命令, 关于 scsi 控制器的输出为

00:10.0 SCSI storage controller: LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI (rev 01)

说明 scsi 控制器采用了 Fusion 架构. linux 要从 Fusion 设备上启动, 必须在内核内建 Fusion 驱动

-> Device Drivers
-> Fusion MPT device support
-> Fusion MPT ScsiHost drivers for SPI

顺便启用DMA

-> Device Drivers
-> DMA Engine support

另外, 要启用 ELF 支持, 否则kernel 启动后将不能执行任何程序! (提前公布谜底. 我通过失败得来)

-> Executable file formats / Emulations
-> Kernel support for ELF binaries

保存配置后开始编译

v4@elws:~/toy/linux-2.6.36.1$ make ARCH=x86 CROSS_COMPILE=$HOME/toy/buildroot-2010.11/output/staging/usr/bin/i686-linux-

kernel 编译一般不会出什么问题, 因为 kernel 不依赖于任何外部库(但是编译过程中要使用一些工具, 如 perl)
10分钟左右编译完, 生成的kernel为 arch/x86/boot/bzImage

3: boot kernel
=================

接下来在target硬盘上建立文件系统, 安装grub和kernel
下面的操作以root执行

elws:~# fdisk /dev/sdd # 在target 硬盘上划分一个主分区
elws:~# mke2fs -j /dev/sdd1
elws:~# mkdir -p /mnt/toy/
elws:~# mount /dev/sdd1 /mnt/toy/
elws:~# grub-install --root-directory=/mnt/toy/ /dev/sdd

可以给grub设置一下启动菜单, 免得以后启动target手动输入启动参数

elws:~# vi /mnt/toy/boot/grub/menu.lst

输入其内容为:

default 0
timeout 5

title toy linux
root (hd0,0)
kernel /boot/bzImage rw root=/dev/sda1

把kernel 拷贝到 target 硬盘

elws:~# cp /home/v4/toy/linux-2.6.36.1/arch/i386/boot/bzImage /mnt/toy/boot/

现在可以关闭host(target 硬盘还挂在host上), 启动 target. 如果前面一切正常, kernel 应该可以挂载根分区, 然后到运行 init 时 kernel panic, 如下:


4: build busybox
===============

使用cross toolchain 来 build busybox

v4@elws:~/toy$ tar xjvf ../tarballs/busybox-1.18.1.tar.bz2 -C .
v4@elws:~/toy$ cd busybox-1.18.1/
v4@elws:~/toy/busybox-1.18.1$ make defconfig
v4@elws:~/toy/busybox-1.18.1$ make menuconfig

-> Busybox Settings
-> Build Options
-> Build BusyBox as a static binary (no shared libs) 不要选择(默认不选择)

-> Busybox Settings
-> Build Options
-> Cross Compiler prefix

填: /home/v4/toy/buildroot-2010.11/output/staging/usr/bin/i686-linux-

v4@elws:~/toy/busybox-1.18.1$ make

如果编译成功: (如果出错了, 看本节末尾的错误记录)

v4@elws:~/toy/busybox-1.18.1$ make install

busybox 安装在 _install/

编译过程中可能出错, 记录如下

(1)

In file included from /home/v4/toy/buildroot-2010.11/output/staging/usr/include/limits.h:27,
from /home/v4/toy/buildroot-2010.11/output/staging/usr/lib/gcc/i686-unknown-linux-uclibc/4.3.5/include-fixed/limits.h:122,
from /home/v4/toy/buildroot-2010.11/output/staging/usr/lib/gcc/i686-unknown-linux-uclibc/4.3.5/include-fixed/syslimits.h:7,
from /home/v4/toy/buildroot-2010.11/output/staging/usr/lib/gcc/i686-unknown-linux-uclibc/4.3.5/include-fixed/limits.h:11,
from include/platform.h:153,
from include/libbb.h:13,
from include/busybox.h:10,
from applets/applets.c:9:
/home/v4/toy/buildroot-2010.11/output/staging/usr/include/features.h:216:5: error: #error It appears you have defined _FILE_OFFSET_BITS=64. Unfortunately, uClibc was built without large file support enabled.

解决:(先后顺序重要! 如果buildroot不支持, uclibc也不会支持)
重新配置buildroot, 添加LFS

-> Toolchain
-> Enable large file (files > 2 GB) support?

重新配置uclibc, 添加Large File Support (LFS)

-> General Library Settings
-> Large File Support

(2)

networking/inetd.c:163:21: error: rpc/rpc.h: No such file or directory

解决: (顺序重要!)
给buildroot增加rpc支持:

-> Toolchain
-> Enable IPv6
Enable RPC

需要给uclibc增加rpc支持:

-> Networking Support
-> Remote Procedure Call (RPC) support
IP version 6 support
Use netlink to query interfaces

5: 启动到 sh# 提示符
==================

现在要将busybox以及uclibc运行时库安装到target
检查busybox需要的动态库:

v4@elws:~/toy$ buildroot-2010.11/output/staging/usr/bin/i686-linux-ldd busybox-1.18.1/_install/bin/busybox
checking sub-depends for 'not found'
checking sub-depends for 'not found'
libm.so.0 => not found (0x00000000)
libc.so.0 => not found (0x00000000)
/lib/ld-uClibc.so.0 => /lib/ld-uClibc.so.0 (0x00000000)

即: busybox 只依赖于libc.so, libm.so 和 ld-uClibc.so

(以下以root执行)

elws:~# mount /dev/sdd1 /mnt/toy/
elws:~# mkdir -p /mnt/toy/etc \
> /mnt/toy/etc/init.d \
> /mnt/toy/lib \
> /mnt/toy/proc \
> /mnt/toy/sys \
> /mnt/toy/dev \
>

elws:~# cd /home/v4/toy/buildroot-2010.11/output/target/lib/
elws:/home/v4/toy/buildroot-2010.11/output/target/lib# rsync -a ld-uClibc* libc.so.0 libuClibc-0.9.31.so libm* /mnt/toy/lib/
elws:/home/v4/toy/buildroot-2010.11/output/staging# cd
elws:~# rsync -a /home/v4/toy/busybox-1.18.1/_install/ /mnt/toy/
elws:~# sync

创建 busybox init 脚本:

elws:~# vi /mnt/toy/etc/inittab

输入以下内容:

# This is run first script
::sysinit:/etc/init.d/rcS

# Start an "askfirst" shell on the console
::askfirst:-/bin/sh

# Stuff to do when restarting the init process
::restart:/sbin/init

# Stuff to do before rebooting
::ctrlaltdel:/sbin/reboot
::shutdown:/bin/umount -a -r

创建系统启动时运行的脚本(系统初始化):

elws:~# mkdir -p /mnt/toy/etc/init.d
elws:~# vi /mnt/toy/etc/init.d/rcS

在启动脚本中mount 虚拟文件系统:

#!/bin/sh

mount -t proc none /proc
mount -t sysfs none /sys

创建 /dev/console, null 2个设备节点(否则, target kernel 启动后, shell 的输出不显示在屏幕上):

elws:~# mkdir -p /mnt/toy/dev
elws:~# mknod /mnt/toy/dev/console c 5 1
elws:~# mknod /mnt/toy/dev/null c 1 3

(注: 可通过在 host 上 ls -l /dev/xyz 查看节点号)

修改文件权限:

elws:~# cd /mnt/toy/
elws:/mnt/toy# chown -R root:root .
elws:/mnt/toy# chmod +x etc/init.d/rcS

关闭host, 启动 target:


6: TODO
============

现在已经建造了一个最基本的linux系统, rootfs 大小为2.3MB:

elws:/mnt# du -sh toy/
2.3M toy/

通过细致地精简busybox及uclibc, 还可较大幅度减小. 接下来要做:

• acpi 电源管理. 目前 halt 后, 虚拟机电源没有切断
• tcp/ip 网络支持
• 启用 framebuffer, 获得图形控制台(以及企鹅logo!)