boost.python笔记

boost.python笔记

标签： boost.python，python, C++

简介

Boost.python是什么？

它是boost库的一部分，随boost一起安装，专门用来打通C++和Python之间的壁垒，让这两门语言能无缝协作。

用Boost.python有什么特别之处？

最大的优点是不需要动你原有的C++代码，而且对C++的各种特性支持得相当好。它不会像SWIG那样生成额外的Python代码，但代价是需要你亲手写一部分C++封装代码。

这里只用到它能力的一小部分——把C/C++实现的功能封装成Python可以直接调用的.so库。具体场景是这样的：有一个C++模块通过thrift封装成了RPC服务，Python代码通过RPC调用来请求服务。问题在于调用频率太高，RPC的开销成了性能瓶颈，所以干脆让Python直接调用原模块的功能。

之前了解过SWIG可以实现这个需求，文档都开始看了。转念一想，有没有别的办法？在stack overflow上搜了一圈，发现不少人推荐Boost.python，于是决定拿它来试试水。

如何使用Boost.python

首先，前提是开发环境得配齐：

安装了boost开发环境，头文件和动态库都得有。
安装了python开发环境，头文件和动态库也得有。

然后就是写代码了，这一步怎么都绕不过去！

需要动手的地方有两个。一个是xxxxxx_wrapper.cpp文件——文件名随便起，核心目的是定义要导出的Python模块名称，以及要暴露出去的类、函数等等。另一个是修改你的Makefile，用来编译、链接这个.so库。

先看看xxxxxx_wrapper.cpp长什么样。一般情况下，它的内容跟下面的代码差不多。

#include // 其他需要包含的头文件，与具体业务有关 namespace py = boost::python; // 其他函数，可能包括一些用于类型转换和封装的 BOOST_PYTHON_MODULE(my_module_name) { // 导出普通函数 def("fun_name_in_python", &fun_name_in_c); // 导出类及部分成员 class_("ClassNameInPython", init()) //类名，默认构造函数 .def(init()) //其他构造函数 .def("memberFunNameInPython", &ClassNameInCpp::memberFunNameInCpp) //成员函数 .def_readwrite("dataMemberInPython", &ClassNameInCpp::dataMemberInCpp) //普通成员变量 .def_readonly("dataMemberInPython_2", &ClassNameInCpp::dataMemberInCpp_2)//只读成员变量 ; }

这个文件的核心目的全在BOOST_PYTHON_MODULE里——定义要导出给Python的所有东西。

在Makefile里，需要加一条规则来编译导出的.so文件。通用的编译命令长这样，这里把编译和链接写在一起了。

g++ -o my_module_name.so -shared -fPIC -I${BOOST_INCLUDE_PATH} -I${PYTHON_INCLUDE_PATH} -L${BOOST_LIB_DIR} -lboost_python ${MY_SRC_FILES}

各个参数的作用如下，其他参数就得看具体项目的业务逻辑了：

-o my_module_name.so——这里的模块名必须和xxxxxx_wrapper.cpp里BOOST_PYTHON_MODULE(my_module_name)保持一致；
-I${BOOST_INCLUDE_PATH} -I${PYTHON_INCLUDE_PATH}是编译阶段需要的；
-L${BOOST_LIB_DIR} -lboost_python -shared -fPIC是链接阶段需要的；
${MY_SRC_FILES}包含了xxxxxxx_wrapper.cpp以及业务逻辑需要的其他.cpp、.c文件。

至此，my_module_name.so这个可以被Python调用的模块就诞生了。来测试一下效果：

>>>import my_moduel_name >>>help(my_module_name)

可以看到被导出的类及函数，然后就能像操作普通Python对象那样使用它们了。

如何写wrapper

用一个实例来讲解，内容涵盖普通函数、类、数据成员、成员函数、通过参数传递结果、容器。其他更复杂的特性这里没用到，也没有测试过。

先看看业务逻辑的代码。包含一个类、一个以类对象为参数的函数、一个通过引用修改类对象的函数。

//test_class.h // 定义一个类 class A { public: A(){privateVal=0;}//默认构造函数 A(int val){privateVal=val;} //带参数的构造函数 void set(int val){privateVal=val;}//成员函数 int get() const {return privateVal;}; //成员函数 int publicVal;//公共数据成员 private: int privateVal; //私有数据成员 }; int addA(A &a, int addVal); //普通函数，有返回值，通过引用修改参数 void printA(const A& a);

//test_class.cpp #include #include "test_class.h" int addA(A &a, int addVal){ int val = a.get(); val += addVal; a.set(val); return val; } void printA(const A& a){ printf("%d\n", a.get()); }

然后是wrapper.cpp文件，这里实际叫test_class_wrapper.cpp。

//test_class_wrapper.cpp #include #include "test_class.h" BOOST_PYTHON_MODULE(test_class){ using namespace boost::python; // 导出类 class_("A", init<>())//如果默认构造函数没有参数，可以省略 .def(init()) //其他构造函数 .def("get", &A::get)//成员函数 .def("set", &A::set)//成员函数 .def_readwrite("publicVal", &A::publicVal)//数据成员，当然是公共的 ; def("printA", &printA); def("addA", &addA); }

用Python命令行测试一下：

#include class B; class A{ public: A(){privateVal=0;}//默认构造函数 A(int val){privateVal=val;} //带参数的构造函数 void set(int val){privateVal=val;}//成员函数 int get() const {return privateVal;}; //成员函数 int publicVal;//公共数据成员 std::vector m_vB; private: int privateVal; //私有数据成员 }; class B{ public: B(){} ~B(){} int pos; int len; }; int accumulate(const std::vector& v_A); int addA(A &a, int addVal); //普通函数，有返回值，通过引用修改参数 void printA(const A& a);

#include #include "test_class.h" int addA(A &a, int addVal){ int val = a.get(); val += addVal; a.set(val); return val; } void printA(const A& a){ printf("%d\n", a.get()); } int accumulate(const std::vector& v_A){ int ret = 0; for (size_t i = 0; i < v_A.size(); i++){ ret += v_A[i].get(); } return ret; }

首先，得明白一点：C++里的vector不等于Python里的list，虽然它们看起来挺像的。Boost.python里有与Python的list对应的东西，叫boost::python::list。如果在Python代码里以list为参数调用某个方法，C++代码里这个参数会被自动映射成boost::python::list，而不是vector。那问题来了：如果不想修改原有的C++代码，又想调用以vector为参数的函数，怎么办？