手把手教您將 libreoffice 移植到函式計算平臺

摘要： LibreOffice 是由文件基金會開發的自由及開放原始碼的辦公室套件。LibreOffice 套件包含文書處理器、電子表格、簡報程式、向量圖形編輯器和圖表工具、資料庫管理程式及建立和編輯數學公式的應用程式。藉助 LibreOffice 的命令列介面可以方便地將 office 檔案轉換成 p...

LibreOffice 是由文件基金會開發的自由及開放原始碼的辦公室套件。LibreOffice 套件包含文書處理器、電子表格、簡報程式、向量圖形編輯器和圖表工具、資料庫管理程式及建立和編輯數學公式的應用程式。藉助 LibreOffice 的命令列介面可以方便地將 office 檔案轉換成 pdf。如下所示：

$ soffice --convert-to pdf --outdir /tmp /tmp/test.doc

一個完整版本的 LibreOffice 大小為 2 GB，而函式計算執行時快取目錄 /tmp 空間限制為 512M，zip 程式包大小限制為 50M。好在社群已經有專案ofollow,noindex" target="_blank">aws-lambda-libreoffice 成功的將 libreoffice 移植到 AWS Lambda 平臺，基於前人的方法和經驗，本人建立了fc-libreoffice 專案，使 libreoffice 成功的執行在阿里雲函式計算平臺。fc-libreoffice 在aws-lambda-libreoffice 的基礎上解決了如下問題：

1. 重新編譯和裁剪 libreoffice ，使其適配 FC nodejs8 runtime 內建的 gcc 和核心版本；
2. 安裝執行時缺失的 libssl3 依賴；
3. 藉助 OSS 執行時下載解壓，以繞過 zip 程式包 50M 的限制；
4. 製作了一個 example 專案，支援一鍵部署，快速體驗。

本文側重於記述整個移植過程，記錄關鍵步驟以備忘，也為類似的轉換工具移植到函式計算平臺提供參考。如果您對於如何快速搭建一個廉價且可擴充套件的 word 轉換 pdf 雲服務更感興趣，可以閱讀另一篇文章《五分鐘上線——函式計算 Word 轉 PDF 雲服務》 。

準備工作

在開始之前建議找一個臺配置較好的 Debain/Ubuntu 機器，libreoffice 編譯比較消耗計算資源。並在機器上安裝和配置如下工具：

• docker-ce 安裝方法參考官方安裝文件

• fun 一款函式計算的編排工具，用於快速部署函式計算應用。

  MacOS 平臺可以使用如下方法安裝

  brew tap vangie/formula
  brew install fun

  其他平臺可以通過 npm 安裝

  npm install @alicloud/fun -g

• ossutil oss 的命令列工具。將其下載並放置到 $PATH 所在目錄。

編譯 libreoffice

我們會採用fc-docker 提供的aliyunfc/runtime-nodejs8:build docker 映象進行編譯。fc-docker 提供了一系列的 docker 映象，這些 docker 映象環境非常接近函式計算的真實環境。因為我們打算把 libreoffice 跑在 nodejs8 環境中，所以我們選用了aliyunfc/runtime-nodejs8:build ，build 標籤映象相比於其他映象會多一些構建需要的基礎包 。

啟動一個編譯環境

通過如下命令可啟動一個用於構建 libreoffice 的容器。

docker run --name libre-builder --rm-v $(pwd):/code -d -t --cap-add=SYS_PTRACE --security-opt seccomp=unconfined aliyunfc/runtime-nodejs8:build bash

上面的命令，我們啟動了一個名為 libre-builder 的容器並把當前目錄掛載到容器內檔案系統的 /code 目錄。附加引數--cap-add=SYS_PTRACE --security-opt seccomp=unconfined 是 cpp 程式編譯需要的，否則會報出一些警告。-d 表示以後臺 daemon 的方式啟動。-t 表示啟動 tty，配合後面的bash 命令是為了卡主容器不退出。而--rm 表示一旦容器停止了就自動刪除容器。

安裝編譯工具

接下來進入容器安裝編譯工具

apt-get install -y ccache
apt-get build-dep -y libreoffice

ccache 是一個編譯工具，可以加速 gcc 對同一個程式的多次編譯。儘管第一次編譯會花費長一點的時間，有了ccache，後續的編譯將變得非常非常快。

apt-get 的 build-dep 子命令會建立某個要編譯軟體的環境。具體行為就是把所有依賴的工具和軟體包都安裝上。

克隆原始碼

git clone --depth=1 git://anongit.freedesktop.org/libreoffice/core libreoffice
cd libreoffice

記得加上--depth=1 引數，因為 libreoffice 專案比較大，進行全量克隆會比較費時間，對於編譯來說 git 提交歷史沒有意義。

配置並編譯

# 如果多次編譯，該設定可以加速後續編譯
ccache --max-size 16 G && ccache -s

通過 --disable 引數去掉不需要的模組，以減少最終編譯產物的體積。

# the most important part. Run ./autogen.sh --help to see wha each option means
./autogen.sh --disable-report-builder --disable-lpsolve --disable-coinmp \
--enable-mergelibs --disable-odk --disable-gtk --disable-cairo-canvas \
--disable-dbus --disable-sdremote --disable-sdremote-bluetooth --disable-gio --disable-randr \
--disable-gstreamer-1-0 --disable-cve-tests --disable-cups --disable-extension-update \
--disable-postgresql-sdbc --disable-lotuswordpro --disable-firebird-sdbc --disable-scripting-beanshell \
--disable-scripting-javascript --disable-largefile --without-helppack-integration \
--without-system-dicts --without-java --disable-gtk3 --disable-dconf --disable-gstreamer-0-10 \
--disable-firebird-sdbc --without-fonts --without-junit --with-theme="no" --disable-evolution2 \
--disable-avahi --without-myspell-dicts --with-galleries="no" \
--disable-kde4 --with-system-expat --with-system-libxml --with-system-nss \
--disable-introspection --without-krb5 --disable-python --disable-pch \
--with-system-openssl --with-system-curl --disable-ooenv --disable-dependency-tracking

開始編譯

make

最終的編譯結果位於./instdir/ 目錄下。

精簡尺寸

使用 strip 命令去除二進位制檔案中的符號資訊和編譯資訊

# this will remove ~100 MB of symbols from shared objects
strip ./instdir/**/*

刪除不必要的檔案

# remove unneeded stuff for headless mode
rm -rf ./instdir/share/gallery \
./instdir/share/config/images_*.zip \
./instdir/readmes \
./instdir/CREDITS.fodt \
./instdir/LICENSE* \
./instdir/NOTICE

驗證

使用如下命令，測試一下編譯出來的 soffice 是否能正常將 txt 檔案轉換成 pdf 檔案。

echo "hello world" > a.txt
./instdir/program/soffice --headless --invisible --nodefault --nofirststartwizard \
--nolockcheck --nologo --norestore --convert-to pdf --outdir $(pwd) a.txt

打包

# archive
tar -zcvf lo.tar.gz instdir

然後使用如下命令將 lo.tar.gz 檔案從容器檔案系統拷貝到宿主機檔案系統。

docker cp libre-builder:/code/libreoffice/lo.tar.gz ./lo.tar.gz

由於aliyunfc/runtime-nodejs8:build 是基於 debain jessie 發行版的。在 debain jessie 上安裝 brotli 較為麻煩，所以我們藉助 ubuntu 容器安裝 brotli 工具，將 tar.gz 格式轉為 tar.br 格式。

docker run --name brotli-util --rm -v $(pwd):/root -w /root -d -t ubuntu:18.04 bash
docker exec -t brotli-util apt-get update
docker exec -t brotli-util apt-get install -y brotli
docker exec -t brotli-util gzip -d lo.tar.gz
docker exec -t brotli-util brotli -q 11 -j -f lo.tar

然後當前目錄會多一個 lo.tar.br 檔案。

安裝依賴

在函式計算 nodejs8 環境中執行 soffice ，需要安裝通過 npm 安裝 tar.br 的解壓依賴包@shelf/aws-lambda-brotli-unpacker 和 通過 apt-get 安裝libnss3 依賴。先啟動一個 nodejs8 的容器，以保證依賴的安裝環境和執行時環境是一致的。

docker run --rm --name libreoffice-builder -t -d -v $(pwd):/code --entrypoint /bin/sh aliyunfc/runtime-nodejs8

注意：@shelf/aws-lambda-brotli-unpacker 存在 native binding，所以在開發機 MacOS 上 npm install 打包上傳是無法工作。

docker exec -t libreoffice-builder npm install

由於函式計算執行時無法安裝全域性的 deb 包，所以需要將 deb 和依賴的 deb 包下載下來，再安裝到當前工作目錄而不是系統目錄。當前工作目錄下可以隨程式碼一起打包上傳。

docker exec -t libreoffice-builder apt-get install -y -d -o=dir::cache=/code libnss3
docker exec -t libreoffice-builder bash -c 'for f in $(ls /code/archives/*.deb); do dpkg -x $f $(pwd) ; done;'

libnss3 包含了許多 .so 動態連結庫檔案，linux 系統下 LD_LIBRARY_PATH 環境變數裡的動態連結庫才能被找到，而函式計算將程式碼目錄/code 下的 lib 目錄預設新增到了 LD_LIBRARY_PATH 中。所以我們寫個指令碼，把所有安裝的 .so 檔案軟連線到 /code/lib 目錄下

docker exec -t libreoffice-builder bash -c "rm -rf /code/archives/; mkdir -p /code/lib;cd /code/lib; find ../usr/lib -type f \( -name '*.so' -o -name '*.chk' \) -exec ln -sf {} . \;"

下載並解壓 tar.br

為了使用 這個 lo.tar.br 檔案，需要先上傳到 OSS

ossutil cp $SCRIPT_DIR/../node_modules/fc-libreoffice/bin/lo.tar.br oss://${OSS_BUCKET}/lo.tar.br \
-i ${ALIBABA_CLOUD_ACCESS_KEY_ID} -k ${ALIBABA_CLOUD_ACCESS_KEY_SECRET} -e oss-${ALIBABA_CLOUD_DEFAULT_REGION}.aliyuncs.com -f

在函式的 initializer 方法中下載。

module.exports.initializer = (context, callback) => {

store = new OSS({
region: `oss-${process.env.ALIBABA_CLOUD_DEFAULT_REGION}`,
bucket: process.env.OSS_BUCKET,
accessKeyId: context.credentials.accessKeyId,
accessKeySecret: context.credentials.accessKeySecret,
stsToken: context.credentials.securityToken,
internal: process.env.OSS_INTERNAL === 'true'
});

if (fs.existsSync(binPath) === true) {
callback(null, "already downloaded.");
return;
}

co(store.get('lo.tar.br', binPath)).then(function (val) {
callback(null, val)
}).catch(function (err) {
callback(err)
});
};

然後藉助於@shelf/aws-lambda-brotli-unpacker npm 包解壓 lo.tar.br

const {unpack} = require('@shelf/aws-lambda-brotli-unpacker');
const {execSync} = require('child_process');

const inputPath = path.join(__dirname, '..', 'bin', 'lo.tar.br');
const outputPath = '/tmp/instdir/program/soffice';

module.exports.handler = async event => {
await unpack({inputPath, outputPath});

execSync(`${outputPath} --convert-to pdf --outdir /tmp /tmp/example.docx`);
};

fun 部署函式

編寫一個 template.yml 檔案，將函式計算的配置都寫在該檔案中，然後使用fun deploy 命令部署函式。

ROSTemplateFormatVersion: '2015-09-01'
Transform: 'Aliyun::Serverless-2018-04-03'
Resources:
libre-svc: # service name
Type: 'Aliyun::Serverless::Service'
Properties:
Description: 'fc test'
Policies: 
- AliyunOSSFullAccess
libre-fun: # function name
Type: 'Aliyun::Serverless::Function'
Properties:
Handler: index.handler
Initializer: index.initializer
Runtime: nodejs8
CodeUri: './'
Timeout: 60
MemorySize: 640
EnvironmentVariables:
ALIBABA_CLOUD_DEFAULT_REGION: ${ALIBABA_CLOUD_DEFAULT_REGION}
OSS_BUCKET: ${OSS_BUCKET}
OSS_INTERNAL: 'true'

真實場景下，把祕鑰和一起變數寫在 template.yml 裡並不合適。為了做到程式碼和配置相分離，上面使用了變數佔位符${ALIBABA_CLOUD_DEFAULT_REGION} 和${OSS_BUCKET} 。

然後使用 envsubst 進行替換

SCRIPT_DIR=`dirname -- "$0"`
source $SCRIPT_DIR/../.env

export ALIBABA_CLOUD_DEFAULT_REGION OSS_BUCKET
envsubst < $SCRIPT_DIR/../template.yml.tpl > $SCRIPT_DIR/../template.yml

cd $SCRIPT_DIR/../

上面所有的配置都寫在了 .env 檔案中，dotenv 是社群常見的方案，也有廣泛的工具支援。

小結

本文重點介紹了編譯 libreoffice 的過程，這也是移植中較為困難的部分。由於 libreoffice 又涉及到 npm 的 native binding 和 apt-get 安裝到本地目錄的問題，所以在函式計算依賴方面本例也是非常經典的場景。無論是編譯還是依賴安裝，本文中的步驟都強烈地依賴 fc-docker 映象，正因為有了該映象，解決了環境差異問題，大大降低了移植的難度。大檔案執行時載入也是函式計算的常見問題，對於轉換工具場景中常見的大檔案是二進位制程式，對於機器學習場景中大檔案常是訓練模型的資料問題，但是無論是哪一種，採用 OSS 下載解壓的方法都是通用的，隨著函式計算支援了 NAS，使用 NAS 掛載共享網盤的方式也是一種新的路徑。

上文完整的原始碼可以在fc-libreoffice 專案中找到。

參考閱讀

1. https://zh.wikipedia.org/wiki/LibreOffice
2. How to Run LibreOffice in AWS Lambda for Dirty-Cheap PDFs at Scale
3. https://github.com/alixaxel/chrome-aws-lambda
4. https://github.com/shelfio/aws-lambda-brotli-unpacker