Thuyết vân đạo biên phân tử là một lý thuyết áp dụng của thuyết vân đạo phân tử nhằm mô tả tương tác HOMO - LUMO.

Năm 1952, Ken'ichi Fukui cho ra mắt một trang viết trên tờ Journal of Chemical Physics (Bài báo về Hóa lý) với nhan đề "A molecular theory of reactivity in aromatic hydrocarbons" (tạm dịch: "Thuyết phản ứng phân tử của các hydrocarbon thơm".^[1] Dù bị chỉ trích thời bấy giờ, nhưng sau đó cùng với Roald Hoffmann, ông đã được trao tặng giải Nobel Hóa học với công trình nghiên cứu cơ chế phản ứng. Công trình của Hoffman tập trung tạo ra chuỗi các phản ứng cận vòng hóa hữu cơ nhờ tính đối xứng vân đạo phân tử; ông là đồng tác giả "The Conservation of Orbital Symmetry" (tạm dịch: "Sự bảo toàn tính đối xứng orbital (phân tử)") với Robert Burns Woodward, người đã từng nhận được một giải Nobel trước khi qua đời.

Fukui độc lập nghiên cứu các tương tác thông qua các quan sát vân đạo biên của phân tử, và các tác động cụ thể của Vân đạo phân tử liên kết có mức năng lượng cao nhất (HOMO) và Vân đạo phân tử không/phản liên kết có mức năng lượng thấp nhất (LUMO) lên cơ chế phản ứng, từ đó dẫn tới tên gọi sau này của học thuyết là Thuyết Vân đạo biên phân tử (gọi tắt: Thuyết FMO). Sau đó, ông dùng những tương tác đã nghiên cứu để làm rõ Quy tắc Woodward-Hoffmann.

Fukui nhận thấy để xấp xỉ hiệu quả cho hoạt độ phản ứng, cần phải quan sát các vân đạo (HOMO/LUMO) ngoài cùng (vân đạo biên). Việc đó thông qua ba bước quan sát thuyết vân đạo phân tử (orbital) khi hai phân tử tương tác:

1. Orbital liên kết của những phân tử khác nhau thì đẩy nhau.
2. Phần dương điện của một phân tử hút phần âm điện của phân tử còn lại.
3. Orbital liên kết của một phân tử và Orbital không liên kết của phân tử còn lại (đặc biệt là HOMO và LUMO) tương tác lẫn nhau gây ra lực hút.

Từ những quan sát này, thuyết vân đạo biên phân tử (FMO) đã đơn giản hóa hoạt độ thành tương tác giữa HOMO và LUMO của hai phân tử khác nhau. Nó giúp giải thích dự đoán của Quy tắc Woodward-Hoffman dành cho phản ứng nhiệt cận vòng, có thể tóm tắt bằng phát biểu sau:

"Thay đổi trạng thái nền/căn bản của vòng là được phép về tính đối xứng khi tổng của (4q+2)_s và (4r)_a là số lẻ"

(4q+2)_s là con số chỉ hệ thống electron thơm, đồng vùng không gian; tương tự, (4r)_a là con số chỉ hệ thống electron không thơm, khác vùng không gian. Có thể nhận ra rằng khi tổng của các hệ trên lẻ thì phản ứng được phép xảy ra về mặt nhiệt học.^[2]

Phản ứng cộng vòng là phản ứng đồng thời tạo ra ít nhất hai liên kết mới, và trong đó chuyển biếnh hai hay nhiều phân tử mạch hở thành vòng.^[3] Trạng thái chuyển của những phản ứng này liên quan cụ thể đến các electron của phân tử chuyển động trên vòng (giả kín) để cho ra phản ứng cận vòng. Những phải ứng này có thể được dự đoán nhờ vào quy tắc Woodward-Hoffmann và do đó được xấp xỉ bằng thuyết FMO.

Phản ứng Diels-Alder giữa hai phân tử anhydrid maleic và cyclopentadiene được phép xảy ra theo quy tắc Woodward-Hoffmann bởi có sáu electron dịch chuyển trong cùng một vùng không gian và không có electron nào chuyển vùng. Dấn tới, tổng của một (4q+2)_s và không (4r)_a là lẻ, có nghĩa phản ứng được phép về mặt nhiệt học.

Ngoài ra, thuyết FMO còn đi xa hơn trong vấn đề dự đoán chọn lọc lập thể, một khía cạnh không được Woodward & Hoffmann nói tới. Vì có một hệ [4+2], để đơn giản ta xét phải ứng của butadien và eten. HOMO của butadien và LUMO của êtilen đều phản đối xứng (đối xứng khi quay), nên phản ứng được phép.^*

Về mặt chọn lọc lập thể của phản ứng giữa anhidrid maleic và cyclopentadien, sản phẩm endo được ưu tiên, cho ta lời giải thích tối ưu khi dùng thuyết FMO. Anhidrid maleic có mang nhiều nhóm hút electron, làm cho nó thiếu điện tử và tìm kiếm để phản ứng với những phân tử dồi dào electron, tuân theo phản ứng Diels-Alder mẫu. Do đó, phản ứng của HOMO_{cyclopentadien} và LUMO_{anhidrid maleic} được phép diễn tiến. Bất luận, sản phẩm exo bền hơn về mặt nhiệt động lực học, nhưng với các tương tác orbital (không liên kết) thứ cấp, năng lượng trạng thái chuyển endo được giảm xuống và giúp đẩy nhanh tốc độ hình thành nên endo được ưu tiên về mặt động học phân tử. Vì có liên kết sơ cấp nên sản phẩm exo vẫn được hình thành, nhưng chậm hơn sự hình thành của sản phẩm chính, endo.^[2]

^*Lưu ý: Khi LUMO và HOMO của eten và butadien đều đối xứng, thì phản ứng vẫn được phép. Nhưng khái niệm này liên quan đến "sự đảo lộn nhu cầu electron Diels-Alder."

A sigmatropic rearrangement is a reaction in which a sigma bond moves across a conjugated pi system with a concomitant shift in the pi bonds. The shift in the sigma bond may be antarafacial or suprafacial. In the example of a [1,5] shift in pentadiene, if there is a suprafacial shift, there is 6 e^- moving suprafacially and none moving antarafacially, implying this reaction is allowed by the Woodward-Hoffmann rules. For an antarafacial shift, the reaction is not allowed.

These results can be predicted with FMO theory by observing the interaction between the HOMO and LUMO of the species. To use FMO theory, the reaction should be considered as two separate ideas: (1) whether or not the reaction is allowed, and (2) which mechanism the reaction proceeds though. In the case of a [1,5] shift on pentadiene, the HOMO of the sigma bond (i.e. a constructive bond) and the LUMO of butadiene on the remaining 4 carbons is observed. Assuming the reaction happens suprafacially, the shift results with the HOMO of butadiene on the 4 carbons that are not involved in the sigma bond of the product. Since the pi system changed from the LUMO to the HOMO, this reaction is allowed (though it would not be allowed if the pi system went from LUMO to LUMO).

To explain why the reaction happens suprafacially, first notice that the terminal orbitals are in the same phase. For there to be a constructive sigma bond formed after the shift, the reaction would have to be suprafacial. If the species shifted antarafacially then it would form an antibonding orbital and there would not be a constructive sigma shift.

It is worth noting that in propene the shift would have to be antarafacial, but since the molecule is very small that twist is not possible and the reaction is not allowed.

An electrocyclic reaction is a percyclic reaction involving the net loss of a pi bond and creation of a sigma bond with formation of a ring. This reaction proceeds through either a conrotatory hoặc disrotatory mechanism. In the conrotatory ring opening of cyclobutene, there are 2 electrons moving suprafacially (on the pi bond) and 2 moving antarafacially (on the sigma bond). This means there is one 4q+2 suprafacial system and no 4r antarafacial system; thus the conrotatory process is thermally allowed by the Woodward-Hoffmann rules.

The HOMO of the sigma bond (i.e. a constructive bond) and the LUMO of the pi bond are important in the FMO theory consideration. If the ring opening uses a conrotatory process then the reaction results with the HOMO of butadiene. As in the previous examples the pi system moves from a LUMO species to a HOMO species, meaning this reaction is allowed.^[2]